Tilbage til platformen

Workflow-benchmarks og regressionstest

Skift kun en arbejdsgang, når den stadig finder det, den fandt før.

Noether er benchmarks og regressionstest for AI-arbejdsgange. Hver version af en arbejdsgang kører mod referencedatasæt, hvis svar er kendt, og en kandidat sammenlignes med versionen i produktion, før nogen stoler på den.

Workflow-benchmarks og regressionstest

Beviser, at en ny version af et workflow stadig finder det, som den forrige fandt, før nogen forlader sig på den.

Benchmarks og regressionstest af AI-workflows. Hver version af et workflow køres mod referencedatasæt med kendte svar og bedømmes på, hvad den finder, hvad den overser, og hvad den koster. En kandidatversion sammenlignes med versionen i produktion, før den publiceres, så en ændring, hvor et fund går tabt, bliver fanget, før den frigives. Workflows kommer først: de samme datasæt og benchmarks bygges derefter til agenter og til modeller.

Et workflow ændres kun, når målingerne viser, at det stadig finder det, som det fandt før.

Evner

Hvad Noether måler, og hvordan

En AI-arbejdsgang ændres ofte: en ny prompt, en ny model, et nyt trin. Noether besvarer ét spørgsmål, før hver ændring går i produktion: finder den stadig, hvad den fandt før?

Referencedatasæt med kendte svar

Hvert datasæt er en lille applikation med problemer plantet i det. Den indeholder den nøjagtige liste over, hvad en arbejdsgang skal rapportere, og over de problemer, der kun ser virkelige ud, som den ikke må rapportere, så et resultat kontrolleres mod et svar i stedet for at vurdere efter mening.

Datasæt, der ændres som kode

Et datasæt ændres gennem en gennemgået ændring, f.eks. kode. Hver score navngiver versionen af ​​datasættet og versionen af ​​arbejdsgangen det kom fra, så to kørsler sammenlignes på samme grund.

Hver version på de samme datasæt

Hver version af en arbejdsgang kører på de samme datasæt, i isolerede miljøer, og scores på dets rå resultater: hvad den fandt, hvad den gik glip af, og hvad den rapporterede, der ikke er der.

En kandidat mod versionen i produktion

Inden en ny version udgives, sammenlignes den med versionen i produktion: de resultater, den opbevarer, dem, den mister, og dem, den får, side om side.

Hvad hver benchmark-kørsel koster

Hver benchmark-kørsel angiver, hvad den kostede, så en version, der finder det samme til en lavere pris, eller mere til en højere, er et valg, der er taget med tallene i hånden.

Holdt adskilt fra dine kunder

Et benchmark-løb holdes adskilt fra det arbejde, dine kunder ser. En version under test ændrer intet for dem, før nogen beslutter sig for at udgive den.

Hvordan det virker

Fra et datasæt til en offentliggjort version

Fire trin. Den sidste er en beslutning truffet af en person, aldrig en bivirkning af at installere ny kode.

  1. Skriv ned, hvad der skal findes

    Et datasæt rummer en lille applikation med plantede problemer, listen over fund en arbejdsgang skal rapportere og de problemer, der kun ser rigtige ud, som den ikke må rapportere.

  2. Kør hver version på de samme datasæt

    Den version, der er i produktion, og kandidaten kører på de samme datasæt, hver i et isoleret miljø, og begge scores på deres rå resultater.

  3. Sammenlign de to

    Fund opbevaret, tabt og vundet, og omkostningerne ved hver kørsel. En ændring, der mister et fund, dukker op her, før den går i produktion.

  4. Udgives efter beslutning

    En version udgives kun, når nogen beslutter sig for at offentliggøre den, med sammenligningen foran sig.

En version, der ikke er blevet offentliggjort, når ingen kunde, uanset hvor mange gange den har kørt.

Bygget til

Bygget til de mennesker, der ændrer en arbejdsgang og står for dens resultater

Engineering

Teams, der bygger AI-arbejdsgange

Skift en prompt, en model eller et trin og ved, inden den går i produktion, hvad ændringen har vundet, og hvad den har mistet.

Kvalitet

De personer, der godkender en ny version

Beslut dig for en ny version ud fra en sammenligning med kendte svar, ikke fra en demonstration af de tilfælde, det tilfældigvis bliver rigtigt.

Ledelse

Dem, der svarer for resultaterne

Når en kunde spørger, om den nye version stadig finder, hvad den gamle fandt, er svaret en måling, der allerede eksisterer.

Hvorfor Noether

Hvorfor Noether?

Opkaldt efter Emmy Noether, matematikeren, hvis sætning fra 1918 binder hver symmetri i et fysisk system til en mængde, som systemet bevarer. En regressionstest stiller den samme slags spørgsmål om software: Når arbejdsgangen ændrer sig, hvad skal så forblive den samme?

Arbejdsgange kommer først, fordi de ændrer sig oftest, og et tabt fund koster mest der.

De samme datasæt og benchmarks bygges dernæst for agenter og for modeller: datasæt og benchmarks af enhver art, hvor end en ændring skal bevise, at den beholdt det, der betød noget.

Hvad skal forblive det samme, skrevet ned

De fund, en arbejdsgang skal beholde, er opført i datasættet, så en ændring måles i forhold til dem i stedet for en hukommelse om, hvordan den plejede at opføre sig.

Målt på rå resultater

En version scores på, hvad den faktisk rapporterede, et fund ad gangen, og hvad det kostede.

Udgivet ved beslutning

Udgivelse af en version er en eksplicit handling, der tages efter benchmark, og aldrig en konsekvens af at installere ny kode.

Vores eksperter med produktet

Vores eksperter bygger de første datasæt med dit team, træner de personer, der vil beholde dem, og overdrager praksis til dem.

Mål en arbejdsgang, før du stoler på den

Fortæl os, hvilken arbejdsgang du ændrer oftest, så viser vi dig, hvordan et benchmark af det ser ud.

Mød en ekspert