Zpět na plošinu

Benchmarky a regresní testy workflow

Změňte pracovní postup pouze tehdy, když stále najde to, co našel dříve.

Noether je benchmarky a regresní testování pro pracovní postupy AI. Každá verze pracovního postupu běží proti referenčním datovým sadám, jejichž odpovědi jsou známé, a kandidát je porovnán s verzí ve výrobě, než se na něj kdokoli spolehne.

Benchmarky a regresní testy workflow

Dokazuje, že nová verze workflow stále najde to, co našla ta předchozí, dřív než se na ni kdokoli spolehne.

Benchmarky a regresní testování pro AI workflow. Každá verze workflow běží proti referenčním datovým sadám se známými odpověďmi a hodnotí se podle toho, co najde, co přehlédne a kolik stojí. Kandidátní verze se před zveřejněním porovná s verzí v produkci, takže změna, která přijde o některý nález, se zachytí dřív, než se nasadí. Workflow jsou na řadě jako první: stejné datové sady a benchmarky pak vzniknou i pro agenty a pro modely.

Workflow se změní jen tehdy, když měření ukážou, že stále najde to, co nacházelo dřív.

Schopnosti

Co Noether měří a jak

Pracovní postup AI se často mění: nový prompt, nový model, nový krok. Noether odpovídá na jednu otázku předtím, než se každá změna dostane do výroby: najde stále to, co nalezla dříve?

Referenční datové sady se známými odpověďmi

Každá datová sada je malá aplikace s problémy. Nese přesný seznam toho, co musí pracovní postup hlásit, a problémů, které pouze vypadají jako skutečné, které hlásit nesmí, takže výsledek je porovnáván s odpovědí spíše než posuzován podle názoru.

Datové sady, které se mění jako kód

Datová sada se mění prostřednictvím zkontrolované změny, jako je kód. Každé skóre pojmenovává verzi datové sady a verzi pracovního postupu, ze kterého pochází, takže dva běhy jsou porovnávány na stejném místě.

Každá verze na stejných datových sadách

Každá verze pracovního postupu běží na stejných datových sadách v izolovaných prostředích a je hodnocena na základě nezpracovaných výsledků: co našla, co jí uniklo a co nahlásila, že tam není.

Kandidát proti verzi ve výrobě

Před vydáním nové verze se porovnává s verzí ve výrobě: poznatky, které si ponechá, ty, které ztrácí, a ty, které získává, vedle sebe.

Kolik stojí každý běh benchmarku

Každý běh benchmarku uvádí, kolik to stojí, takže verze, která najde totéž za nižší cenu nebo více za vyšší, je volbou provedenou s čísly v ruce.

Držte se stranou od svých zákazníků

Srovnávací běh je oddělen od práce, kterou vidí vaši zákazníci. Testovaná verze pro ně nic nemění, dokud se ji někdo nerozhodne zveřejnit.

Jak to funguje

Od datové sady k publikované verzi

Čtyři kroky. Poslední je rozhodnutí učiněné osobou, nikdy není vedlejším efektem instalace nového kódu.

  1. Napište, co je třeba najít

    Datový soubor obsahuje malou aplikaci se zasazenými problémy, seznamem zjištění, které musí pracovní postup hlásit, a problémy, které pouze vypadají jako skutečné, které hlásit nesmí.

  2. Spusťte každou verzi na stejných datových sadách

    Verze v produkci a kandidát běží na stejných datových sadách, každá v izolovaném prostředí, a obě jsou hodnoceny na základě jejich nezpracovaných výsledků.

  3. Porovnejte oba

    Uchované, ztracené a získané nálezy a cena každého běhu. Změna, která ztratí nález, se objeví zde, než půjde do výroby.

  4. Zveřejnit rozhodnutím

    Verze je zveřejněna pouze tehdy, když se ji někdo rozhodne zveřejnit, s porovnáním před sebou.

Verze, která nebyla zveřejněna, se nedostane k žádnému zákazníkovi, i když se mnohokrát spustila.

Postaveno pro

Vytvořeno pro lidi, kteří mění pracovní postup a odpovídají za jeho výsledky

Strojírenství

Týmy, které vytvářejí pracovní postupy AI

Změňte prompt, model nebo krok a zjistěte, než se dostane do výroby, co tato změna přinesla a co ztratila.

Kvalita

Lidé, kteří schvalují novou verzi

Pro novou verzi se rozhodněte na základě srovnání se známými odpověďmi, nikoli na základě demonstrace na případech, kdy se to stane správně.

Vedení

Ti, kteří odpovídají za výsledky

Když se zákazník zeptá, zda nová verze stále najde to, co našla stará, odpovědí je měření, které již existuje.

Proč Noether

Proč Noether?

Pojmenováno po Emmy Noether, matematičce, jejíž teorém z roku 1918 spojuje každou symetrii fyzikálního systému s množstvím, které systém zachovává. Regresní test klade stejnou otázku softwaru: když se pracovní postup změní, co musí zůstat stejné?

Pracovní postupy jsou na prvním místě, protože ty se mění nejčastěji a tam stojí ztracený nález nejvíce.

Stejné datové sady a benchmarky jsou vytvořeny jako další pro agenty a pro modely: datové sady a benchmarky všeho druhu, kdekoli musí změna prokázat, že zachovala to, na čem záleželo.

Co musí zůstat stejné, zapsané

Zjištění, která musí pracovní postup uchovávat, jsou uvedena v datové sadě, takže změna je měřena spíše podle nich než s pamětí, jak se dříve choval.

Měřeno na hrubých výsledcích

Verze je hodnocena podle toho, co skutečně hlásila, po jednom nálezu a podle toho, kolik to stojí.

Zveřejněno rozhodnutím

Publikování verze je explicitní akt učiněný po benchmarku a nikdy není důsledkem instalace nového kódu.

Naši odborníci na produkt

Naši odborníci vytvoří s vaším týmem první datové sady, vyškolí lidi, kteří je budou uchovávat, a předají jim praxi.

Změřte pracovní postup, než se na něj spolehnete

Řekněte nám, který workflow měníte nejčastěji, a my vám ukážeme, jak vypadá jeho benchmark.

Seznamte se s odborníkem