Altere um fluxo de trabalho somente quando ele ainda encontrar o que encontrou antes.
Noether é um benchmark e teste de regressão para fluxos de trabalho de IA. Cada versão de um fluxo de trabalho é executada em conjuntos de dados de referência cujas respostas são conhecidas, e um candidato é comparado com a versão em produção antes que alguém confie nele.
Prova que uma nova versão de um workflow continua a encontrar o que a anterior encontrava, antes que alguém confie nela.
Benchmarks e testes de regressão para workflows de IA. Cada versão de um workflow é executada sobre conjuntos de dados de referência cujas respostas são conhecidas, e é pontuada pelo que encontra, pelo que lhe escapa e pelo que custa. Antes de ser publicada, uma versão candidata é comparada com a versão em produção, para que uma alteração que perca uma deteção seja apanhada antes de ser entregue. Os workflows vêm primeiro: a seguir, os mesmos conjuntos de dados e benchmarks são construídos para agentes e para modelos.
Um workflow só muda quando as medições mostram que continua a encontrar o que encontrava antes.
Capacidades
O que Noether mede e como
Um fluxo de trabalho de IA muda frequentemente: um novo prompt, um novo modelo, uma nova etapa. Noether responde a uma pergunta antes de cada mudança entrar em produção: ele ainda encontra o que encontrou antes?
Conjuntos de dados de referência com respostas conhecidas
Cada conjunto de dados é um pequeno aplicativo com problemas plantados nele. Ele contém a lista exata do que um fluxo de trabalho deve relatar e dos problemas que apenas parecem reais e que não devem ser relatados, de modo que um resultado seja verificado em relação a uma resposta, em vez de julgado pela opinião.
Conjuntos de dados que mudam como código
Um conjunto de dados muda por meio de uma alteração revisada, como um código. Cada pontuação nomeia a versão do conjunto de dados e a versão do fluxo de trabalho de onde veio, portanto, duas execuções são comparadas no mesmo terreno.
Cada versão nos mesmos conjuntos de dados
Cada versão de um fluxo de trabalho é executada nos mesmos conjuntos de dados, em ambientes isolados, e é pontuada de acordo com seus resultados brutos: o que encontrou, o que perdeu e o que relatou que não existe.
Um candidato contra a versão em produção
Antes de uma nova versão ser publicada, ela é comparada com a versão em produção: as descobertas que mantém, as que perde e as que ganha, lado a lado.
Quanto custa cada execução de benchmark
Cada benchmark indica quanto custou, portanto, uma versão que encontre o mesmo por um preço mais baixo, ou mais por um preço mais alto, é uma escolha feita com os números em mãos.
Mantido longe de seus clientes
Uma execução de benchmark é mantida separada do trabalho que seus clientes veem. Uma versão em teste não muda nada para eles até que alguém decida publicá-la.
Como funciona
De um conjunto de dados para uma versão publicada
Quatro etapas. A última é uma decisão tomada por uma pessoa, nunca um efeito colateral da instalação de um novo código.
01
Escreva o que deve ser encontrado
Um conjunto de dados contém uma pequena aplicação com problemas plantados, a lista de descobertas que um fluxo de trabalho deve relatar e os problemas que apenas parecem reais, mas que não devem ser relatados.
02
Execute cada versão nos mesmos conjuntos de dados
A versão em produção e o candidato são executados nos mesmos conjuntos de dados, cada um em um ambiente isolado, e ambos são pontuados com base nos resultados brutos.
03
Compare os dois
Descobertas mantidas, perdidas e ganhas, e o custo de cada corrida. Uma mudança que perde uma descoberta aparece aqui, antes de entrar em produção.
04
Publicar por decisão
Uma versão só é publicada quando alguém decide publicá-la, com a comparação à sua frente.
Uma versão que não foi publicada não chega a nenhum cliente, por mais vezes que tenha sido executada.
Construído para
Criado para pessoas que mudam um fluxo de trabalho e respondem por seus resultados
Engenharia
Equipes que criam fluxos de trabalho de IA
Mude um prompt, um modelo ou uma etapa e saiba, antes de entrar em produção, o que a mudança ganhou e o que perdeu.
Qualidade
As pessoas que aprovam uma nova versão
Decida uma nova versão a partir de uma comparação com respostas conhecidas, e não a partir de uma demonstração dos casos em que ela acerta.
Liderança
Aqueles que respondem pelos resultados
Quando um cliente pergunta se a nova versão ainda encontra o que a antiga encontrou, a resposta é uma medida que já existe.
Por que Noether
Por que Noether?
Nomeado em homenagem a Emmy Noether, o matemático cujo teorema de 1918 vincula cada simetria de um sistema físico a uma quantidade que o sistema conserva. Um teste de regressão faz o mesmo tipo de pergunta sobre software: quando o fluxo de trabalho muda, o que deve permanecer igual?
Os fluxos de trabalho vêm em primeiro lugar, porque são os que mudam com mais frequência e uma descoberta perdida custa mais caro.
Os mesmos conjuntos de dados e benchmarks são construídos a seguir para agentes e modelos: conjuntos de dados e benchmarks de todos os tipos, sempre que uma mudança tiver que provar que manteve o que importava.
O que deve permanecer igual, escrito
As descobertas que um fluxo de trabalho deve manter são listadas no conjunto de dados, portanto, uma mudança é medida em relação a elas, e não em relação a uma memória de como costumava se comportar.
Medido em resultados brutos
Uma versão é pontuada com base no que ela realmente relatou, uma descoberta por vez, e quanto isso custou.
Publicado por decisão
Publicar uma versão é um ato explícito realizado após o benchmark, e nunca uma consequência da instalação de um novo código.
Nossos especialistas com o produto
Nossos especialistas constroem os primeiros conjuntos de dados com sua equipe, treinam as pessoas que irão mantê-los e entregam a prática a eles.
Meça um fluxo de trabalho antes de confiar nele
Diga-nos qual fluxo de trabalho você altera com mais frequência e mostraremos como é um benchmark dele.