Skift kun en arbejdsgang, når den stadig finder det, den fandt før.
Noether er benchmarks og regressionstest for AI-arbejdsgange. Hver version af en arbejdsgang kører mod referencedatasæt, hvis svar er kendt, og en kandidat sammenlignes med versionen i produktion, før nogen stoler på den.
Beviser, at en ny version af et workflow stadig finder det, som den forrige fandt, før nogen forlader sig på den.
Benchmarks og regressionstest af AI-workflows. Hver version af et workflow køres mod referencedatasæt med kendte svar og bedømmes på, hvad den finder, hvad den overser, og hvad den koster. En kandidatversion sammenlignes med versionen i produktion, før den publiceres, så en ændring, hvor et fund går tabt, bliver fanget, før den frigives. Workflows kommer først: de samme datasæt og benchmarks bygges derefter til agenter og til modeller.
Et workflow ændres kun, når målingerne viser, at det stadig finder det, som det fandt før.
Evner
Hvad Noether måler, og hvordan
En AI-arbejdsgang ændres ofte: en ny prompt, en ny model, et nyt trin. Noether besvarer ét spørgsmål, før hver ændring går i produktion: finder den stadig, hvad den fandt før?
Referencedatasæt med kendte svar
Hvert datasæt er en lille applikation med problemer plantet i det. Den indeholder den nøjagtige liste over, hvad en arbejdsgang skal rapportere, og over de problemer, der kun ser virkelige ud, som den ikke må rapportere, så et resultat kontrolleres mod et svar i stedet for at vurdere efter mening.
Datasæt, der ændres som kode
Et datasæt ændres gennem en gennemgået ændring, f.eks. kode. Hver score navngiver versionen af datasættet og versionen af arbejdsgangen det kom fra, så to kørsler sammenlignes på samme grund.
Hver version på de samme datasæt
Hver version af en arbejdsgang kører på de samme datasæt, i isolerede miljøer, og scores på dets rå resultater: hvad den fandt, hvad den gik glip af, og hvad den rapporterede, der ikke er der.
En kandidat mod versionen i produktion
Inden en ny version udgives, sammenlignes den med versionen i produktion: de resultater, den opbevarer, dem, den mister, og dem, den får, side om side.
Hvad hver benchmark-kørsel koster
Hver benchmark-kørsel angiver, hvad den kostede, så en version, der finder det samme til en lavere pris, eller mere til en højere, er et valg, der er taget med tallene i hånden.
Holdt adskilt fra dine kunder
Et benchmark-løb holdes adskilt fra det arbejde, dine kunder ser. En version under test ændrer intet for dem, før nogen beslutter sig for at udgive den.
Hvordan det virker
Fra et datasæt til en offentliggjort version
Fire trin. Den sidste er en beslutning truffet af en person, aldrig en bivirkning af at installere ny kode.
01
Skriv ned, hvad der skal findes
Et datasæt rummer en lille applikation med plantede problemer, listen over fund en arbejdsgang skal rapportere og de problemer, der kun ser rigtige ud, som den ikke må rapportere.
02
Kør hver version på de samme datasæt
Den version, der er i produktion, og kandidaten kører på de samme datasæt, hver i et isoleret miljø, og begge scores på deres rå resultater.
03
Sammenlign de to
Fund opbevaret, tabt og vundet, og omkostningerne ved hver kørsel. En ændring, der mister et fund, dukker op her, før den går i produktion.
04
Udgives efter beslutning
En version udgives kun, når nogen beslutter sig for at offentliggøre den, med sammenligningen foran sig.
En version, der ikke er blevet offentliggjort, når ingen kunde, uanset hvor mange gange den har kørt.
Bygget til
Bygget til de mennesker, der ændrer en arbejdsgang og står for dens resultater
Engineering
Teams, der bygger AI-arbejdsgange
Skift en prompt, en model eller et trin og ved, inden den går i produktion, hvad ændringen har vundet, og hvad den har mistet.
Kvalitet
De personer, der godkender en ny version
Beslut dig for en ny version ud fra en sammenligning med kendte svar, ikke fra en demonstration af de tilfælde, det tilfældigvis bliver rigtigt.
Ledelse
Dem, der svarer for resultaterne
Når en kunde spørger, om den nye version stadig finder, hvad den gamle fandt, er svaret en måling, der allerede eksisterer.
Hvorfor Noether
Hvorfor Noether?
Opkaldt efter Emmy Noether, matematikeren, hvis sætning fra 1918 binder hver symmetri i et fysisk system til en mængde, som systemet bevarer. En regressionstest stiller den samme slags spørgsmål om software: Når arbejdsgangen ændrer sig, hvad skal så forblive den samme?
Arbejdsgange kommer først, fordi de ændrer sig oftest, og et tabt fund koster mest der.
De samme datasæt og benchmarks bygges dernæst for agenter og for modeller: datasæt og benchmarks af enhver art, hvor end en ændring skal bevise, at den beholdt det, der betød noget.
Hvad skal forblive det samme, skrevet ned
De fund, en arbejdsgang skal beholde, er opført i datasættet, så en ændring måles i forhold til dem i stedet for en hukommelse om, hvordan den plejede at opføre sig.
Målt på rå resultater
En version scores på, hvad den faktisk rapporterede, et fund ad gangen, og hvad det kostede.
Udgivet ved beslutning
Udgivelse af en version er en eksplicit handling, der tages efter benchmark, og aldrig en konsekvens af at installere ny kode.
Vores eksperter med produktet
Vores eksperter bygger de første datasæt med dit team, træner de personer, der vil beholde dem, og overdrager praksis til dem.
Mål en arbejdsgang, før du stoler på den
Fortæl os, hvilken arbejdsgang du ændrer oftest, så viser vi dig, hvordan et benchmark af det ser ud.