De volta à plataforma

Benchmarks de workflows e testes de regressão

Altere um fluxo de trabalho somente quando ele ainda encontrar o que encontrou antes.

Noether é um benchmark e teste de regressão para fluxos de trabalho de IA. Cada versão de um fluxo de trabalho é executada em conjuntos de dados de referência cujas respostas são conhecidas, e um candidato é comparado com a versão em produção antes que alguém confie nele.

Benchmarks de workflows e testes de regressão

Prova que uma nova versão de um workflow continua a encontrar o que a anterior encontrava, antes que alguém confie nela.

Benchmarks e testes de regressão para workflows de IA. Cada versão de um workflow é executada sobre conjuntos de dados de referência cujas respostas são conhecidas, e é pontuada pelo que encontra, pelo que lhe escapa e pelo que custa. Antes de ser publicada, uma versão candidata é comparada com a versão em produção, para que uma alteração que perca uma deteção seja apanhada antes de ser entregue. Os workflows vêm primeiro: a seguir, os mesmos conjuntos de dados e benchmarks são construídos para agentes e para modelos.

Um workflow só muda quando as medições mostram que continua a encontrar o que encontrava antes.

Capacidades

O que Noether mede e como

Um fluxo de trabalho de IA muda frequentemente: um novo prompt, um novo modelo, uma nova etapa. Noether responde a uma pergunta antes de cada mudança entrar em produção: ele ainda encontra o que encontrou antes?

Conjuntos de dados de referência com respostas conhecidas

Cada conjunto de dados é um pequeno aplicativo com problemas plantados nele. Ele contém a lista exata do que um fluxo de trabalho deve relatar e dos problemas que apenas parecem reais e que não devem ser relatados, de modo que um resultado seja verificado em relação a uma resposta, em vez de julgado pela opinião.

Conjuntos de dados que mudam como código

Um conjunto de dados muda por meio de uma alteração revisada, como um código. Cada pontuação nomeia a versão do conjunto de dados e a versão do fluxo de trabalho de onde veio, portanto, duas execuções são comparadas no mesmo terreno.

Cada versão nos mesmos conjuntos de dados

Cada versão de um fluxo de trabalho é executada nos mesmos conjuntos de dados, em ambientes isolados, e é pontuada de acordo com seus resultados brutos: o que encontrou, o que perdeu e o que relatou que não existe.

Um candidato contra a versão em produção

Antes de uma nova versão ser publicada, ela é comparada com a versão em produção: as descobertas que mantém, as que perde e as que ganha, lado a lado.

Quanto custa cada execução de benchmark

Cada benchmark indica quanto custou, portanto, uma versão que encontre o mesmo por um preço mais baixo, ou mais por um preço mais alto, é uma escolha feita com os números em mãos.

Mantido longe de seus clientes

Uma execução de benchmark é mantida separada do trabalho que seus clientes veem. Uma versão em teste não muda nada para eles até que alguém decida publicá-la.

Como funciona

De um conjunto de dados para uma versão publicada

Quatro etapas. A última é uma decisão tomada por uma pessoa, nunca um efeito colateral da instalação de um novo código.

  1. Escreva o que deve ser encontrado

    Um conjunto de dados contém uma pequena aplicação com problemas plantados, a lista de descobertas que um fluxo de trabalho deve relatar e os problemas que apenas parecem reais, mas que não devem ser relatados.

  2. Execute cada versão nos mesmos conjuntos de dados

    A versão em produção e o candidato são executados nos mesmos conjuntos de dados, cada um em um ambiente isolado, e ambos são pontuados com base nos resultados brutos.

  3. Compare os dois

    Descobertas mantidas, perdidas e ganhas, e o custo de cada corrida. Uma mudança que perde uma descoberta aparece aqui, antes de entrar em produção.

  4. Publicar por decisão

    Uma versão só é publicada quando alguém decide publicá-la, com a comparação à sua frente.

Uma versão que não foi publicada não chega a nenhum cliente, por mais vezes que tenha sido executada.

Construído para

Criado para pessoas que mudam um fluxo de trabalho e respondem por seus resultados

Engenharia

Equipes que criam fluxos de trabalho de IA

Mude um prompt, um modelo ou uma etapa e saiba, antes de entrar em produção, o que a mudança ganhou e o que perdeu.

Qualidade

As pessoas que aprovam uma nova versão

Decida uma nova versão a partir de uma comparação com respostas conhecidas, e não a partir de uma demonstração dos casos em que ela acerta.

Liderança

Aqueles que respondem pelos resultados

Quando um cliente pergunta se a nova versão ainda encontra o que a antiga encontrou, a resposta é uma medida que já existe.

Por que Noether

Por que Noether?

Nomeado em homenagem a Emmy Noether, o matemático cujo teorema de 1918 vincula cada simetria de um sistema físico a uma quantidade que o sistema conserva. Um teste de regressão faz o mesmo tipo de pergunta sobre software: quando o fluxo de trabalho muda, o que deve permanecer igual?

Os fluxos de trabalho vêm em primeiro lugar, porque são os que mudam com mais frequência e uma descoberta perdida custa mais caro.

Os mesmos conjuntos de dados e benchmarks são construídos a seguir para agentes e modelos: conjuntos de dados e benchmarks de todos os tipos, sempre que uma mudança tiver que provar que manteve o que importava.

O que deve permanecer igual, escrito

As descobertas que um fluxo de trabalho deve manter são listadas no conjunto de dados, portanto, uma mudança é medida em relação a elas, e não em relação a uma memória de como costumava se comportar.

Medido em resultados brutos

Uma versão é pontuada com base no que ela realmente relatou, uma descoberta por vez, e quanto isso custou.

Publicado por decisão

Publicar uma versão é um ato explícito realizado após o benchmark, e nunca uma consequência da instalação de um novo código.

Nossos especialistas com o produto

Nossos especialistas constroem os primeiros conjuntos de dados com sua equipe, treinam as pessoas que irão mantê-los e entregam a prática a eles.

Meça um fluxo de trabalho antes de confiar nele

Diga-nos qual fluxo de trabalho você altera com mais frequência e mostraremos como é um benchmark dele.

Conheça um especialista