Ändern Sie einen Workflow nur, wenn er immer noch das findet, was er zuvor gefunden hat.
Noether ist Benchmarks und Regressionstests für KI-Workflows. Jede Version eines Workflows wird anhand von Referenzdatensätzen ausgeführt, deren Antworten bekannt sind, und ein Kandidat wird mit der Version in der Produktion verglichen, bevor sich jemand darauf verlässt.
Belegt, dass eine neue Version eines Workflows noch findet, was die vorige gefunden hat, bevor sich jemand auf sie verlässt.
Benchmarks und Regressionstests für KI-Workflows. Jede Version eines Workflows läuft gegen Referenzdatensätze mit bekannten Antworten und wird danach bewertet, was sie findet, was sie übersieht und was sie kostet. Eine Kandidatenversion wird vor ihrer Veröffentlichung mit der Version in Produktion verglichen, sodass eine Änderung, durch die ein Fund verloren geht, auffällt, bevor sie ausgeliefert wird. Workflows kommen zuerst: Dieselben Datensätze und Benchmarks entstehen als Nächstes für Agenten und für Modelle.
Ein Workflow ändert sich nur, wenn die Messungen zeigen, dass er noch findet, was er vorher gefunden hat.
Fähigkeiten
Was Noether misst und wie
Ein KI-Workflow wird oft geändert: ein neues prompt, ein neues Modell, ein neuer Schritt. Noether beantwortet eine Frage, bevor jede Änderung in Produktion geht: Findet sie immer noch das, was sie zuvor gefunden hat?
Referenzdatensätze mit bekannten Antworten
Jeder Datensatz ist eine kleine Anwendung mit eingebauten Problemen. Es enthält die genaue Liste dessen, was ein Workflow melden muss, und der Probleme, die nur real erscheinen, die er nicht melden darf, sodass ein Ergebnis anhand einer Antwort überprüft und nicht anhand einer Meinung beurteilt wird.
Datensätze, die sich wie Code ändern
Ein Datensatz ändert sich durch eine überprüfte Änderung, z. B. Code. In jedem Score werden die Version des Datensatzes und die Version des Workflows, aus dem er stammt, genannt, sodass zwei Läufe auf derselben Grundlage verglichen werden.
Jede Version auf denselben Datensätzen
Jede Version eines Workflows wird auf denselben Datensätzen in isolierten Umgebungen ausgeführt und anhand ihrer Rohergebnisse bewertet: was gefunden wurde, was übersehen wurde und was gemeldet wurde, was nicht vorhanden ist.
Ein Kandidat gegen die in Produktion befindliche Version
Bevor eine neue Version veröffentlicht wird, wird sie mit der in Produktion befindlichen Version verglichen: die Ergebnisse, die sie behält, die, die sie verliert, und die, die sie hinzugewinnt, nebeneinander.
Was jeder Benchmark-Lauf kostet
Jeder Benchmark-Durchlauf gibt an, was er kostet. Eine Version, die das Gleiche zu einem niedrigeren Preis oder mehr zu einem höheren Preis findet, ist also eine Entscheidung, die anhand der vorliegenden Zahlen getroffen wird.
Von Ihren Kunden getrennt gehalten
Ein Benchmark-Durchlauf wird von der Arbeit, die Ihre Kunden sehen, getrennt gehalten. Eine getestete Version ändert für sie nichts, bis sich jemand dazu entschließt, sie zu veröffentlichen.
Wie es funktioniert
Von einem Datensatz zu einer veröffentlichten Version
Vier Schritte. Letzteres ist eine Entscheidung einer Person und niemals ein Nebeneffekt der Installation eines neuen Codes.
01
Schreiben Sie auf, was gefunden werden muss
Ein Datensatz enthält eine kleine Anwendung mit eingepflanzten Problemen, die Liste der Ergebnisse, die ein Workflow melden muss, und die Probleme, die nur real erscheinen, die er nicht melden darf.
02
Führen Sie jede Version mit denselben Datensätzen aus
Die Produktionsversion und der Kandidat werden auf denselben Datensätzen ausgeführt, jeweils in einer isolierten Umgebung, und beide werden anhand ihrer Rohergebnisse bewertet.
03
Vergleichen Sie die beiden
Behaltene, verlorene und gewonnene Erkenntnisse sowie die Kosten für jeden Lauf. Eine Änderung, die ein Ergebnis verliert, wird hier angezeigt, bevor sie in Produktion geht.
04
Veröffentlichung durch Entscheidung
Eine Version wird nur dann veröffentlicht, wenn sich jemand dazu entschließt, sie zu veröffentlichen, während der Vergleich vor ihm liegt.
Eine Version, die nicht veröffentlicht wurde, erreicht keinen Kunden, egal wie oft sie ausgeführt wurde.
Gebaut für
Entwickelt für Menschen, die einen Arbeitsablauf ändern und für die Ergebnisse verantwortlich sind
Ingenieurwesen
Teams, die KI-Workflows erstellen
Ändern Sie ein prompt, ein Modell oder einen Schritt und wissen Sie, bevor es in Produktion geht, was die Änderung gebracht hat und was sie verloren hat.
Qualität
Die Leute, die eine neue Version genehmigen
Entscheiden Sie sich für eine neue Version aufgrund eines Vergleichs mit bekannten Antworten, nicht aufgrund einer Demonstration der Fälle, in denen sie zufällig richtig ist.
Führung
Diejenigen, die für die Ergebnisse verantwortlich sind
Wenn ein Kunde fragt, ob die neue Version noch das findet, was die alte gefunden hat, ist die Antwort eine bereits vorhandene Messung.
Warum Noether
Warum Noether?
Benannt nach Emmy Noether, dem Mathematiker, dessen Satz von 1918 jede Symmetrie eines physikalischen Systems mit einer Größe verknüpft, die das System erhält. Ein Regressionstest stellt die gleiche Frage an Software: Wenn sich der Arbeitsablauf ändert, was muss gleich bleiben?
Arbeitsabläufe stehen an erster Stelle, weil sie sich am häufigsten ändern und ein verlorener Befund dort am meisten kostet.
Als Nächstes werden für Agenten und Modelle dieselben Datensätze und Benchmarks erstellt: Datensätze und Benchmarks aller Art, überall dort, wo eine Änderung beweisen muss, dass sie das Wesentliche beibehalten hat.
Was gleich bleiben muss, aufgeschrieben
Die Erkenntnisse, die ein Workflow behalten muss, werden im Datensatz aufgelistet, sodass eine Änderung an ihnen gemessen wird und nicht an einer Erinnerung daran, wie er sich früher verhalten hat.
Gemessen an Rohergebnissen
Eine Version wird danach bewertet, was sie tatsächlich gemeldet hat, eine Feststellung nach der anderen, und was diese gekostet hat.
Durch Beschluss veröffentlicht
Die Veröffentlichung einer Version ist ein expliziter Vorgang nach dem Benchmark und niemals eine Folge der Installation neuen Codes.
Unsere Experten mit dem Produkt
Unsere Experten erstellen mit Ihrem Team die ersten Datensätze, schulen die Personen, die sie verwalten, und übergeben ihnen die Praxis.
Messen Sie einen Arbeitsablauf, bevor Sie sich darauf verlassen
Sagen Sie uns, welchen Workflow Sie am häufigsten ändern, und wir zeigen Ihnen, wie ein Benchmark davon aussieht.