Volver a la plataforma

Benchmarks de workflows y pruebas de regresión

Cambie un flujo de trabajo solo cuando todavía encuentre lo que encontró antes.

Noether son puntos de referencia y pruebas de regresión para flujos de trabajo de IA. Cada versión de un flujo de trabajo se ejecuta con conjuntos de datos de referencia cuyas respuestas se conocen, y un candidato se compara con la versión en producción antes de que alguien confíe en él.

Benchmarks de workflows y pruebas de regresión

Demuestra que una nueva versión de un workflow sigue encontrando lo que encontraba la anterior, antes de que nadie confíe en ella.

Benchmarks y pruebas de regresión para workflows de IA. Cada versión de un workflow se ejecuta contra conjuntos de datos de referencia cuyas respuestas se conocen, y se puntúa por lo que encuentra, lo que se le escapa y lo que cuesta. Antes de publicarse, una versión candidata se compara con la versión en producción, de modo que un cambio que pierde un hallazgo se detecta antes de desplegarse. Los workflows van primero: a continuación se construyen los mismos conjuntos de datos y benchmarks para agentes y para modelos.

Un workflow solo cambia cuando las mediciones demuestran que sigue encontrando lo que encontraba antes.

Capacidades

Qué mide Noether y cómo

Un flujo de trabajo de IA cambia con frecuencia: un nuevo prompt, un nuevo modelo, un nuevo paso. Noether responde una pregunta antes de que cada cambio entre en producción: ¿todavía encuentra lo que encontró antes?

Conjuntos de datos de referencia con respuestas conocidas

Cada conjunto de datos es una pequeña aplicación con problemas planteados en ella. Incluye la lista exacta de lo que debe informar un flujo de trabajo y de los problemas que sólo parecen reales y que no debe informar, por lo que el resultado se compara con una respuesta en lugar de juzgarse por la opinión.

Conjuntos de datos que cambian como código

Un conjunto de datos cambia a través de un cambio revisado, como el código. Cada puntuación nombra la versión del conjunto de datos y la versión del flujo de trabajo del que procede, por lo que se comparan dos ejecuciones en el mismo terreno.

Cada versión en los mismos conjuntos de datos.

Cada versión de un flujo de trabajo se ejecuta en los mismos conjuntos de datos, en entornos aislados, y se califica según sus resultados sin procesar: lo que encontró, lo que se perdió y lo que informó que no está allí.

Un candidato contra la versión en producción

Antes de publicar una nueva versión, se compara con la versión en producción: los hallazgos que conserva, los que pierde y los que gana, uno al lado del otro.

Lo que cuesta cada ejecución de referencia

Cada prueba comparativa indica lo que costó, por lo que una versión que encuentre lo mismo a un precio más bajo, o más a uno más alto, es una elección que se hace con los números en la mano.

Mantenerse alejado de sus clientes

Una evaluación comparativa se mantiene separada del trabajo que ven sus clientes. Una versión bajo prueba no cambia nada para ellos hasta que alguien decide publicarla.

como funciona

De un conjunto de datos a una versión publicada

Cuatro pasos. El último es una decisión tomada por una persona, nunca un efecto secundario de instalar un nuevo código.

  1. Anota lo que hay que encontrar.

    Un conjunto de datos contiene una pequeña aplicación con problemas planteados, la lista de hallazgos que un flujo de trabajo debe informar y los problemas que sólo parecen reales, que no debe informar.

  2. Ejecute cada versión en los mismos conjuntos de datos

    La versión en producción y el candidato se ejecutan en los mismos conjuntos de datos, cada uno en un entorno aislado, y ambos se califican según sus resultados sin procesar.

  3. comparar los dos

    Hallazgos conservados, perdidos y obtenidos, y el costo de cada ejecución. Un cambio que pierde un hallazgo aparece aquí, antes de entrar en producción.

  4. Publicar por decisión

    Una versión se publica sólo cuando alguien decide publicarla, con la comparación delante.

Una versión que no ha sido publicada no llega a ningún cliente por más veces que se haya ejecutado.

Construido para

Creado para las personas que cambian un flujo de trabajo y responden por sus resultados.

Ingeniería

Equipos que crean flujos de trabajo de IA

Cambia un prompt, un modelo o un paso y conoce, antes de que entre en producción, qué ganó y qué perdió el cambio.

Calidad

Las personas que aprueban una nueva versión.

Decida una nueva versión a partir de una comparación con respuestas conocidas, no de una demostración de los casos en los que resulta correcta.

Liderazgo

Los que responden por los resultados.

Cuando un cliente pregunta si la nueva versión todavía encuentra lo mismo que la anterior, la respuesta es una medida que ya existe.

Por qué Noether

¿Por qué Noether?

Lleva el nombre de Emmy Noether, el matemático cuyo teorema de 1918 vincula cada simetría de un sistema físico a una cantidad que el sistema conserva. Una prueba de regresión plantea el mismo tipo de pregunta al software: cuando el flujo de trabajo cambia, ¿qué debe permanecer igual?

Los flujos de trabajo son lo primero, porque cambian con más frecuencia y un hallazgo perdido es el que más cuesta allí.

A continuación se construyen los mismos conjuntos de datos y puntos de referencia para agentes y modelos: conjuntos de datos y puntos de referencia de todo tipo, siempre que un cambio tenga que demostrar que mantuvo lo que importaba.

Lo que debe permanecer igual, escrito.

Los hallazgos que un flujo de trabajo debe conservar se enumeran en el conjunto de datos, por lo que un cambio se mide en función de ellos en lugar de en función de un recuerdo de cómo solía comportarse.

Medido en resultados brutos

Una versión se califica según lo que realmente informó, un hallazgo a la vez, y según su costo.

Publicado por decisión

La publicación de una versión es un acto explícito que se realiza después de la evaluación comparativa y nunca es una consecuencia de la instalación de un código nuevo.

Nuestros expertos con el producto.

Nuestros expertos crean los primeros conjuntos de datos con su equipo, capacitan a las personas que los conservarán y les entregan la práctica.

Mida un flujo de trabajo antes de confiar en él

Díganos qué flujo de trabajo cambia con más frecuencia y le mostraremos cómo se ve su punto de referencia.

Conoce a un experto