Zurück zur Plattform

Workflow-Benchmarks und Regressionstests

Ändern Sie einen Workflow nur, wenn er immer noch das findet, was er zuvor gefunden hat.

Noether ist Benchmarks und Regressionstests für KI-Workflows. Jede Version eines Workflows wird anhand von Referenzdatensätzen ausgeführt, deren Antworten bekannt sind, und ein Kandidat wird mit der Version in der Produktion verglichen, bevor sich jemand darauf verlässt.

Workflow-Benchmarks und Regressionstests

Belegt, dass eine neue Version eines Workflows noch findet, was die vorige gefunden hat, bevor sich jemand auf sie verlässt.

Benchmarks und Regressionstests für KI-Workflows. Jede Version eines Workflows läuft gegen Referenzdatensätze mit bekannten Antworten und wird danach bewertet, was sie findet, was sie übersieht und was sie kostet. Eine Kandidatenversion wird vor ihrer Veröffentlichung mit der Version in Produktion verglichen, sodass eine Änderung, durch die ein Fund verloren geht, auffällt, bevor sie ausgeliefert wird. Workflows kommen zuerst: Dieselben Datensätze und Benchmarks entstehen als Nächstes für Agenten und für Modelle.

Ein Workflow ändert sich nur, wenn die Messungen zeigen, dass er noch findet, was er vorher gefunden hat.

Fähigkeiten

Was Noether misst und wie

Ein KI-Workflow wird oft geändert: ein neues prompt, ein neues Modell, ein neuer Schritt. Noether beantwortet eine Frage, bevor jede Änderung in Produktion geht: Findet sie immer noch das, was sie zuvor gefunden hat?

Referenzdatensätze mit bekannten Antworten

Jeder Datensatz ist eine kleine Anwendung mit eingebauten Problemen. Es enthält die genaue Liste dessen, was ein Workflow melden muss, und der Probleme, die nur real erscheinen, die er nicht melden darf, sodass ein Ergebnis anhand einer Antwort überprüft und nicht anhand einer Meinung beurteilt wird.

Datensätze, die sich wie Code ändern

Ein Datensatz ändert sich durch eine überprüfte Änderung, z. B. Code. In jedem Score werden die Version des Datensatzes und die Version des Workflows, aus dem er stammt, genannt, sodass zwei Läufe auf derselben Grundlage verglichen werden.

Jede Version auf denselben Datensätzen

Jede Version eines Workflows wird auf denselben Datensätzen in isolierten Umgebungen ausgeführt und anhand ihrer Rohergebnisse bewertet: was gefunden wurde, was übersehen wurde und was gemeldet wurde, was nicht vorhanden ist.

Ein Kandidat gegen die in Produktion befindliche Version

Bevor eine neue Version veröffentlicht wird, wird sie mit der in Produktion befindlichen Version verglichen: die Ergebnisse, die sie behält, die, die sie verliert, und die, die sie hinzugewinnt, nebeneinander.

Was jeder Benchmark-Lauf kostet

Jeder Benchmark-Durchlauf gibt an, was er kostet. Eine Version, die das Gleiche zu einem niedrigeren Preis oder mehr zu einem höheren Preis findet, ist also eine Entscheidung, die anhand der vorliegenden Zahlen getroffen wird.

Von Ihren Kunden getrennt gehalten

Ein Benchmark-Durchlauf wird von der Arbeit, die Ihre Kunden sehen, getrennt gehalten. Eine getestete Version ändert für sie nichts, bis sich jemand dazu entschließt, sie zu veröffentlichen.

Wie es funktioniert

Von einem Datensatz zu einer veröffentlichten Version

Vier Schritte. Letzteres ist eine Entscheidung einer Person und niemals ein Nebeneffekt der Installation eines neuen Codes.

  1. Schreiben Sie auf, was gefunden werden muss

    Ein Datensatz enthält eine kleine Anwendung mit eingepflanzten Problemen, die Liste der Ergebnisse, die ein Workflow melden muss, und die Probleme, die nur real erscheinen, die er nicht melden darf.

  2. Führen Sie jede Version mit denselben Datensätzen aus

    Die Produktionsversion und der Kandidat werden auf denselben Datensätzen ausgeführt, jeweils in einer isolierten Umgebung, und beide werden anhand ihrer Rohergebnisse bewertet.

  3. Vergleichen Sie die beiden

    Behaltene, verlorene und gewonnene Erkenntnisse sowie die Kosten für jeden Lauf. Eine Änderung, die ein Ergebnis verliert, wird hier angezeigt, bevor sie in Produktion geht.

  4. Veröffentlichung durch Entscheidung

    Eine Version wird nur dann veröffentlicht, wenn sich jemand dazu entschließt, sie zu veröffentlichen, während der Vergleich vor ihm liegt.

Eine Version, die nicht veröffentlicht wurde, erreicht keinen Kunden, egal wie oft sie ausgeführt wurde.

Gebaut für

Entwickelt für Menschen, die einen Arbeitsablauf ändern und für die Ergebnisse verantwortlich sind

Ingenieurwesen

Teams, die KI-Workflows erstellen

Ändern Sie ein prompt, ein Modell oder einen Schritt und wissen Sie, bevor es in Produktion geht, was die Änderung gebracht hat und was sie verloren hat.

Qualität

Die Leute, die eine neue Version genehmigen

Entscheiden Sie sich für eine neue Version aufgrund eines Vergleichs mit bekannten Antworten, nicht aufgrund einer Demonstration der Fälle, in denen sie zufällig richtig ist.

Führung

Diejenigen, die für die Ergebnisse verantwortlich sind

Wenn ein Kunde fragt, ob die neue Version noch das findet, was die alte gefunden hat, ist die Antwort eine bereits vorhandene Messung.

Warum Noether

Warum Noether?

Benannt nach Emmy Noether, dem Mathematiker, dessen Satz von 1918 jede Symmetrie eines physikalischen Systems mit einer Größe verknüpft, die das System erhält. Ein Regressionstest stellt die gleiche Frage an Software: Wenn sich der Arbeitsablauf ändert, was muss gleich bleiben?

Arbeitsabläufe stehen an erster Stelle, weil sie sich am häufigsten ändern und ein verlorener Befund dort am meisten kostet.

Als Nächstes werden für Agenten und Modelle dieselben Datensätze und Benchmarks erstellt: Datensätze und Benchmarks aller Art, überall dort, wo eine Änderung beweisen muss, dass sie das Wesentliche beibehalten hat.

Was gleich bleiben muss, aufgeschrieben

Die Erkenntnisse, die ein Workflow behalten muss, werden im Datensatz aufgelistet, sodass eine Änderung an ihnen gemessen wird und nicht an einer Erinnerung daran, wie er sich früher verhalten hat.

Gemessen an Rohergebnissen

Eine Version wird danach bewertet, was sie tatsächlich gemeldet hat, eine Feststellung nach der anderen, und was diese gekostet hat.

Durch Beschluss veröffentlicht

Die Veröffentlichung einer Version ist ein expliziter Vorgang nach dem Benchmark und niemals eine Folge der Installation neuen Codes.

Unsere Experten mit dem Produkt

Unsere Experten erstellen mit Ihrem Team die ersten Datensätze, schulen die Personen, die sie verwalten, und übergeben ihnen die Praxis.

Messen Sie einen Arbeitsablauf, bevor Sie sich darauf verlassen

Sagen Sie uns, welchen Workflow Sie am häufigsten ändern, und wir zeigen Ihnen, wie ein Benchmark davon aussieht.

Treffen Sie einen Experten