Ändra ett arbetsflöde först när det fortfarande hittar det som det hittade tidigare.
Noether är riktmärken och regressionstestning för AI-arbetsflöden. Varje version av ett arbetsflöde körs mot referensdatauppsättningar vars svar är kända, och en kandidat jämförs med versionen i produktion innan någon förlitar sig på den.
Bevisar att en ny version av ett workflow fortfarande hittar det som den förra hittade, innan någon förlitar sig på den.
Benchmarks och regressionstestning för AI-workflows. Varje version av ett workflow körs mot referensdataset med kända svar och bedöms efter vad den hittar, vad den missar och vad den kostar. En kandidatversion jämförs med versionen i produktion innan den publiceras, så att en ändring som tappar ett fynd fångas upp innan den släpps. Workflows kommer först: samma dataset och benchmarks byggs sedan för agenter och för modeller.
Ett workflow ändras bara när mätningarna visar att det fortfarande hittar det som det hittade tidigare.
Förmågor
Vad Noether mäter och hur
Ett AI-arbetsflöde ändras ofta: en ny prompt, en ny modell, ett nytt steg. Noether svarar på en fråga innan varje ändring sätts i produktion: hittar den fortfarande vad den hittade tidigare?
Referensdatauppsättningar med kända svar
Varje dataset är en liten applikation med problem planterade i den. Den innehåller den exakta listan över vad ett arbetsflöde måste rapportera, och över de problem som bara ser verkliga ut, som det inte får rapportera, så ett resultat kontrolleras mot ett svar snarare än bedöms utifrån åsikter.
Datauppsättningar som ändras som kod
En datauppsättning ändras genom en granskad ändring, som kod. Varje poäng namnger versionen av datamängden och versionen av arbetsflödet den kom ifrån, så två körningar jämförs på samma grund.
Varje version på samma datamängder
Varje version av ett arbetsflöde körs på samma datauppsättningar, i isolerade miljöer, och poängsätts på sina råresultat: vad den hittade, vad den missade och vad den rapporterade som inte finns där.
En kandidat mot versionen i produktion
Innan en ny version publiceras jämförs den med versionen i produktion: resultaten den behåller, de den förlorar och de den vinner, sida vid sida.
Vad varje benchmarkkörning kostar
Varje benchmarkkörning anger vad den kostade, så en version som hittar samma till ett lägre pris, eller mer till ett högre, är ett val som görs med siffrorna i hand.
Hålls åtskilda från dina kunder
En benchmarkkörning hålls åtskild från det arbete dina kunder ser. En version som testas ändrar ingenting för dem förrän någon bestämmer sig för att publicera den.
Hur det fungerar
Från ett dataset till en publicerad version
Fyra steg. Den sista är ett beslut som tas av en person, aldrig en bieffekt av att installera ny kod.
01
Skriv ner vad som måste hittas
En datauppsättning innehåller en liten applikation med planterade problem, listan över fynd ett arbetsflöde måste rapportera och de problem som bara ser verkliga ut, som den inte får rapportera.
02
Kör varje version på samma datauppsättningar
Versionen i produktion och kandidaten körs på samma datamängder, var och en i en isolerad miljö, och båda poängsätts på sina råresultat.
03
Jämför de två
Fynden bevarade, förlorade och vunna, och kostnaden för varje körning. En förändring som förlorar ett fynd dyker upp här, innan den går i produktion.
04
Publicera efter beslut
En version publiceras först när någon bestämmer sig för att publicera den, med jämförelsen framför sig.
En version som inte har publicerats når ingen kund, hur många gånger den än har körts.
Byggd för
Byggd för de människor som ändrar ett arbetsflöde och svarar för dess resultat
Engineering
Team som bygger AI-arbetsflöden
Ändra en prompt, en modell eller ett steg och vet, innan den går i produktion, vad förändringen vunnit och vad den förlorade.
Kvalitet
Personerna som godkänner en ny version
Bestäm dig för en ny version från en jämförelse med kända svar, inte från en demonstration i de fall det råkar bli rätt.
Ledarskap
De som svarar för resultatet
När en kund frågar om den nya versionen fortfarande hittar det som den gamla hittade är svaret ett mått som redan finns.
Varför Noether
Varför Noether?
Uppkallad efter Emmy Noether, matematikern vars teorem från 1918 binder varje symmetri i ett fysiskt system till en kvantitet som systemet bevarar. Ett regressionstest ställer samma typ av fråga om programvara: när arbetsflödet ändras, vad måste förbli oförändrat?
Arbetsflöden kommer först, eftersom de ändras oftast och ett förlorat fynd kostar mest där.
Samma datamängder och riktmärken byggs härnäst för agenter och för modeller: dataset och riktmärken av alla slag, varhelst en förändring måste bevisa att den behöll det som betydde något.
Vad måste vara detsamma, nedskrivet
Resultaten som ett arbetsflöde måste behålla listas i datamängden, så en förändring mäts mot dem snarare än mot ett minne av hur det brukade bete sig.
Mätt på råresultat
En version poängsätts på vad den faktiskt rapporterade, ett fynd i taget och på vad det kostade.
Publicerad genom beslut
Att publicera en version är en explicit handling som tas efter riktmärket och aldrig en konsekvens av att installera ny kod.
Våra experter med produkten
Våra experter bygger de första datamängderna med ditt team, utbildar personerna som kommer att behålla dem och lämnar över praktiken till dem.
Mät ett arbetsflöde innan du litar på det
Berätta för oss vilket arbetsflöde du ändrar oftast, så visar vi dig hur ett riktmärke för det ser ut.