Ne changez un workflow que s’il trouve toujours ce qu’il trouvait avant.
Noether, ce sont les benchmarks et les tests de non-régression des workflows IA. Chaque version d’un workflow est exécutée sur des jeux de données de référence aux réponses connues, et une version candidate est comparée à la version en production avant que quiconque ne s’y fie.
Prouve qu’une nouvelle version d’un workflow trouve toujours ce que la précédente trouvait, avant que quiconque ne s’y fie.
Benchmarks et tests de non-régression pour les workflows IA. Chaque version d’un workflow est exécutée sur des jeux de données de référence aux réponses connues, puis notée sur ce qu’elle trouve, ce qui lui échappe et ce qu’elle coûte. Avant sa publication, une version candidate est comparée à la version en production : un changement qui fait perdre un constat est ainsi repéré avant d’être livré. Les workflows d’abord : les mêmes jeux de données et benchmarks sont ensuite construits pour les agents et pour les modèles.
Un workflow ne change que lorsque les mesures montrent qu’il trouve toujours ce qu’il trouvait auparavant.
Fonctionnalités
Ce que Noether mesure, et comment
Un workflow IA change souvent : un nouveau prompt, un nouveau modèle, une nouvelle étape. Avant que chaque changement n’arrive en production, Noether répond à une seule question : trouve-t-il toujours ce qu’il trouvait avant ?
Des jeux de données de référence aux réponses connues
Chaque jeu de données est une petite application dans laquelle des problèmes ont été placés à dessein. Il contient la liste exacte de ce qu’un workflow doit signaler, et des problèmes qui n’en ont que l’apparence, qu’il ne doit pas signaler : un résultat est ainsi vérifié par rapport à une réponse, et non jugé sur une opinion.
Des jeux de données qui évoluent comme du code
Un jeu de données change par une modification relue, comme du code. Chaque score indique la version du jeu de données et celle du workflow dont il provient : deux exécutions sont comparées sur le même terrain.
Chaque version sur les mêmes jeux de données
Chaque version d’un workflow est exécutée sur les mêmes jeux de données, dans des environnements isolés, et notée sur ses résultats bruts : ce qu’elle a trouvé, ce qui lui a échappé et ce qu’elle a signalé à tort.
Une version candidate face à la version en production
Avant sa publication, une nouvelle version est comparée à la version en production : les constats qu’elle conserve, ceux qu’elle perd et ceux qu’elle gagne, côte à côte.
Ce que coûte chaque exécution de benchmark
Chaque exécution de benchmark indique ce qu’elle a coûté : une version qui trouve autant pour moins cher, ou davantage pour plus cher, devient un choix fait chiffres en main.
À l’écart de vos clients
Une exécution de benchmark est tenue à l’écart du travail que voient vos clients. Une version en test ne change rien pour eux tant que personne n’a décidé de la publier.
Fonctionnement
D’un jeu de données à une version publiée
Quatre étapes. La dernière est une décision prise par une personne, jamais un effet secondaire de l’installation d’un nouveau code.
01
Écrire ce qui doit être trouvé
Un jeu de données contient une petite application aux problèmes placés à dessein, la liste des constats qu’un workflow doit signaler et les problèmes qui n’en ont que l’apparence, qu’il ne doit pas signaler.
02
Exécuter chaque version sur les mêmes jeux de données
La version en production et la version candidate sont exécutées sur les mêmes jeux de données, chacune dans un environnement isolé, et toutes deux sont notées sur leurs résultats bruts.
03
Comparer les deux
Constats conservés, perdus et gagnés, et coût de chaque exécution. Un changement qui fait perdre un constat apparaît ici, avant d’arriver en production.
04
Publier sur décision
Une version n’est publiée que lorsque quelqu’un décide de la publier, la comparaison sous les yeux.
Une version qui n’a pas été publiée n’atteint aucun client, quel que soit le nombre de fois où elle a été exécutée.
Conçu pour
Conçu pour celles et ceux qui modifient un workflow et répondent de ses résultats
Ingénierie
Les équipes qui construisent des workflows IA
Modifiez un prompt, un modèle ou une étape, et sachez, avant l’arrivée en production, ce que le changement a gagné et ce qu’il a perdu.
Qualité
Celles et ceux qui approuvent une nouvelle version
Décidez d’une nouvelle version à partir d’une comparaison avec des réponses connues, et non d’une démonstration sur les cas qu’elle réussit par chance.
Direction
Celles et ceux qui répondent des résultats
Quand un client demande si la nouvelle version trouve toujours ce que trouvait l’ancienne, la réponse est une mesure qui existe déjà.
Pourquoi Noether
Pourquoi Noether ?
Nommé d’après Emmy Noether, la mathématicienne dont le théorème de 1918 relie chaque symétrie d’un système physique à une grandeur que ce système conserve. Un test de non-régression pose au logiciel le même type de question : quand le workflow change, qu’est-ce qui doit rester identique ?
Les workflows d’abord, parce que ce sont eux qui changent le plus souvent et que c’est là qu’un constat perdu coûte le plus.
Les mêmes jeux de données et benchmarks sont ensuite construits pour les agents et pour les modèles : des jeux de données et des benchmarks de tous types, partout où un changement doit prouver qu’il a conservé l’essentiel.
Ce qui doit rester identique, mis par écrit
Les constats qu’un workflow doit conserver sont listés dans le jeu de données : un changement est mesuré par rapport à eux, et non par rapport au souvenir de son comportement passé.
Mesuré sur les résultats bruts
Une version est notée sur ce qu’elle a réellement signalé, constat par constat, et sur ce que cela a coûté.
Publication sur décision
Publier une version est un acte explicite, posé après le benchmark, et jamais la conséquence de l’installation d’un nouveau code.
Nos experts avec le produit
Nos experts construisent les premiers jeux de données avec votre équipe, forment les personnes qui les tiendront à jour et leur transmettent la pratique.
Mesurez un workflow avant de vous y fier
Dites-nous quel workflow vous modifiez le plus souvent, et nous vous montrerons à quoi ressemble son benchmark.