Tillbaka till plattformen

Workflow-benchmarks och regressionstestning

Ändra ett arbetsflöde först när det fortfarande hittar det som det hittade tidigare.

Noether är riktmärken och regressionstestning för AI-arbetsflöden. Varje version av ett arbetsflöde körs mot referensdatauppsättningar vars svar är kända, och en kandidat jämförs med versionen i produktion innan någon förlitar sig på den.

Workflow-benchmarks och regressionstestning

Bevisar att en ny version av ett workflow fortfarande hittar det som den förra hittade, innan någon förlitar sig på den.

Benchmarks och regressionstestning för AI-workflows. Varje version av ett workflow körs mot referensdataset med kända svar och bedöms efter vad den hittar, vad den missar och vad den kostar. En kandidatversion jämförs med versionen i produktion innan den publiceras, så att en ändring som tappar ett fynd fångas upp innan den släpps. Workflows kommer först: samma dataset och benchmarks byggs sedan för agenter och för modeller.

Ett workflow ändras bara när mätningarna visar att det fortfarande hittar det som det hittade tidigare.

Förmågor

Vad Noether mäter och hur

Ett AI-arbetsflöde ändras ofta: en ny prompt, en ny modell, ett nytt steg. Noether svarar på en fråga innan varje ändring sätts i produktion: hittar den fortfarande vad den hittade tidigare?

Referensdatauppsättningar med kända svar

Varje dataset är en liten applikation med problem planterade i den. Den innehåller den exakta listan över vad ett arbetsflöde måste rapportera, och över de problem som bara ser verkliga ut, som det inte får rapportera, så ett resultat kontrolleras mot ett svar snarare än bedöms utifrån åsikter.

Datauppsättningar som ändras som kod

En datauppsättning ändras genom en granskad ändring, som kod. Varje poäng namnger versionen av datamängden och versionen av arbetsflödet den kom ifrån, så två körningar jämförs på samma grund.

Varje version på samma datamängder

Varje version av ett arbetsflöde körs på samma datauppsättningar, i isolerade miljöer, och poängsätts på sina råresultat: vad den hittade, vad den missade och vad den rapporterade som inte finns där.

En kandidat mot versionen i produktion

Innan en ny version publiceras jämförs den med versionen i produktion: resultaten den behåller, de den förlorar och de den vinner, sida vid sida.

Vad varje benchmarkkörning kostar

Varje benchmarkkörning anger vad den kostade, så en version som hittar samma till ett lägre pris, eller mer till ett högre, är ett val som görs med siffrorna i hand.

Hålls åtskilda från dina kunder

En benchmarkkörning hålls åtskild från det arbete dina kunder ser. En version som testas ändrar ingenting för dem förrän någon bestämmer sig för att publicera den.

Hur det fungerar

Från ett dataset till en publicerad version

Fyra steg. Den sista är ett beslut som tas av en person, aldrig en bieffekt av att installera ny kod.

  1. Skriv ner vad som måste hittas

    En datauppsättning innehåller en liten applikation med planterade problem, listan över fynd ett arbetsflöde måste rapportera och de problem som bara ser verkliga ut, som den inte får rapportera.

  2. Kör varje version på samma datauppsättningar

    Versionen i produktion och kandidaten körs på samma datamängder, var och en i en isolerad miljö, och båda poängsätts på sina råresultat.

  3. Jämför de två

    Fynden bevarade, förlorade och vunna, och kostnaden för varje körning. En förändring som förlorar ett fynd dyker upp här, innan den går i produktion.

  4. Publicera efter beslut

    En version publiceras först när någon bestämmer sig för att publicera den, med jämförelsen framför sig.

En version som inte har publicerats når ingen kund, hur många gånger den än har körts.

Byggd för

Byggd för de människor som ändrar ett arbetsflöde och svarar för dess resultat

Engineering

Team som bygger AI-arbetsflöden

Ändra en prompt, en modell eller ett steg och vet, innan den går i produktion, vad förändringen vunnit och vad den förlorade.

Kvalitet

Personerna som godkänner en ny version

Bestäm dig för en ny version från en jämförelse med kända svar, inte från en demonstration i de fall det råkar bli rätt.

Ledarskap

De som svarar för resultatet

När en kund frågar om den nya versionen fortfarande hittar det som den gamla hittade är svaret ett mått som redan finns.

Varför Noether

Varför Noether?

Uppkallad efter Emmy Noether, matematikern vars teorem från 1918 binder varje symmetri i ett fysiskt system till en kvantitet som systemet bevarar. Ett regressionstest ställer samma typ av fråga om programvara: när arbetsflödet ändras, vad måste förbli oförändrat?

Arbetsflöden kommer först, eftersom de ändras oftast och ett förlorat fynd kostar mest där.

Samma datamängder och riktmärken byggs härnäst för agenter och för modeller: dataset och riktmärken av alla slag, varhelst en förändring måste bevisa att den behöll det som betydde något.

Vad måste vara detsamma, nedskrivet

Resultaten som ett arbetsflöde måste behålla listas i datamängden, så en förändring mäts mot dem snarare än mot ett minne av hur det brukade bete sig.

Mätt på råresultat

En version poängsätts på vad den faktiskt rapporterade, ett fynd i taget och på vad det kostade.

Publicerad genom beslut

Att publicera en version är en explicit handling som tas efter riktmärket och aldrig en konsekvens av att installera ny kod.

Våra experter med produkten

Våra experter bygger de första datamängderna med ditt team, utbildar personerna som kommer att behålla dem och lämnar över praktiken till dem.

Mät ett arbetsflöde innan du litar på det

Berätta för oss vilket arbetsflöde du ändrar oftast, så visar vi dig hur ett riktmärke för det ser ut.

Träffa en expert