Späť na plošinu

Benchmarky a regresné testy workflow

Pracovný postup zmeňte iba vtedy, keď stále nájde to, čo našiel predtým.

Noether je benchmarky a regresné testovanie pre pracovné postupy AI. Každá verzia pracovného toku beží proti referenčným súborom údajov, ktorých odpovede sú známe, a kandidát sa porovnáva s verziou vo výrobe skôr, ako sa naň niekto spoľahne.

Benchmarky a regresné testy workflow

Dokazuje, že nová verzia workflow stále nájde to, čo našla tá predchádzajúca, skôr než sa na ňu ktokoľvek spoľahne.

Benchmarky a regresné testovanie pre AI workflow. Každá verzia workflow beží na referenčných dátových sadách so známymi odpoveďami a hodnotí sa podľa toho, čo nájde, čo prehliadne a koľko stojí. Kandidátska verzia sa pred zverejnením porovná s verziou v produkcii, takže zmena, ktorá príde o niektorý nález, sa zachytí skôr, než sa nasadí. Workflow sú na rade ako prvé: rovnaké dátové sady a benchmarky potom vzniknú aj pre agentov a pre modely.

Workflow sa zmení len vtedy, keď merania ukážu, že stále nájde to, čo nachádzalo predtým.

Schopnosti

Čo meria Noether a ako

Pracovný postup AI sa často mení: nový prompt, nový model, nový krok. Noether odpovedá na jednu otázku predtým, ako sa každá zmena dostane do výroby: nájde stále to, čo našla predtým?

Referenčné súbory údajov so známymi odpoveďami

Každý súbor údajov je malá aplikácia s problémami. Obsahuje presný zoznam toho, čo musí pracovný postup hlásiť, a problémov, ktoré len vyzerajú ako skutočné, ktoré hlásiť nesmie, takže výsledok sa porovnáva s odpoveďou a nie je posudzovaný podľa názoru.

Množiny údajov, ktoré sa menia ako kód

Množina údajov sa mení prostredníctvom skontrolovanej zmeny, napríklad kódu. Každé skóre pomenúva verziu súboru údajov a verziu pracovného toku, z ktorého pochádza, takže dva pokusy sa porovnávajú na rovnakom mieste.

Každá verzia na rovnakých súboroch údajov

Každá verzia pracovného toku beží na rovnakých množinách údajov v izolovaných prostrediach a hodnotí sa na základe nespracovaných výsledkov: čo našla, čo jej uniklo a čo nahlásila, že tam nie je.

Kandidát proti verzii vo výrobe

Pred vydaním novej verzie sa porovnáva s verziou vo výrobe: zistenia, ktoré si ponechá, tie, ktoré stratí, a tie, ktoré získa, vedľa seba.

Koľko stojí každý test benchmarku

Pri každom benchmarkovom behu je uvedená jeho cena, takže verzia, ktorá nájde to isté za nižšiu cenu alebo viac za vyššiu, je voľbou urobenou s číslami v ruke.

Držte sa oddelene od svojich zákazníkov

Spustenie benchmarku je oddelené od práce, ktorú vidia vaši zákazníci. Testovaná verzia pre nich nič nezmení, kým sa ju niekto nerozhodne zverejniť.

Ako to funguje

Od súboru údajov k zverejnenej verzii

Štyri kroky. Posledné je rozhodnutie prijaté osobou, nikdy nie vedľajším účinkom inštalácie nového kódu.

  1. Napíšte, čo treba nájsť

    Súbor údajov obsahuje malú aplikáciu so zasadenými problémami, zoznamom zistení, ktoré musí pracovný tok hlásiť, a problémami, ktoré len vyzerajú ako skutočné, ktoré však hlásiť nesmie.

  2. Spustite každú verziu na rovnakých množinách údajov

    Verzia vo výrobe a kandidát bežia na rovnakých súboroch údajov, každá v izolovanom prostredí, a obe sú hodnotené na základe ich nespracovaných výsledkov.

  3. Porovnajte tieto dva

    Uchované, stratené a získané nálezy a náklady na každý beh. Tu sa objaví zmena, ktorá stratí nález, skôr ako sa dostane do výroby.

  4. Zverejniť na základe rozhodnutia

    Verzia sa zverejní až vtedy, keď sa ju niekto rozhodne zverejniť, pričom porovnanie má pred sebou.

Verzia, ktorá nebola zverejnená, sa nedostane k žiadnemu zákazníkovi, hoci už bola spustená mnohokrát.

Postavené pre

Vytvorené pre ľudí, ktorí menia pracovný postup a zodpovedajú za jeho výsledky

Strojárstvo

Tímy, ktoré vytvárajú pracovné postupy AI

Zmeňte prompt, model alebo krok a pred uvedením do výroby zistite, čo táto zmena získala a čo stratila.

Kvalita

Ľudia, ktorí schvaľujú novú verziu

Rozhodnite sa pre novú verziu na základe porovnania so známymi odpoveďami, nie na základe demonštrácie na prípadoch, ktoré sa náhodou vydaria.

Vedenie

Tí, ktorí zodpovedajú za výsledky

Keď sa zákazník spýta, či nová verzia stále nájde to, čo našla stará, odpoveďou je meranie, ktoré už existuje.

Prečo Noether

Prečo Noether?

Pomenovaný po Emmy Noether, matematičke, ktorej teorém z roku 1918 spája každú symetriu fyzikálneho systému s množstvom, ktoré systém zachováva. Regresný test kladie rovnakú otázku softvéru: keď sa pracovný tok zmení, čo musí zostať rovnaké?

Pracovné postupy sú na prvom mieste, pretože sa menia najčastejšie a tam najviac stojí stratený nález.

Rovnaké množiny údajov a referenčné hodnoty sú vytvorené ako ďalšie pre agentov a pre modely: množiny údajov a referenčné hodnoty každého druhu, bez ohľadu na to, kde zmena musí preukázať, že zachovala to, na čom záležalo.

Čo musí zostať rovnaké, zapísané

Zistenia, ktoré musí pracovný postup uchovávať, sú uvedené v súbore údajov, takže zmena sa meria oproti nim, a nie proti pamäti toho, ako sa predtým správal.

Merané na hrubých výsledkoch

Verzia sa hodnotí podľa toho, čo skutočne nahlásila, po jednom náleze a podľa toho, čo to stálo.

Zverejnené rozhodnutím

Publikovanie verzie je výslovným aktom vykonaným po benchmarku a nikdy nie je dôsledkom inštalácie nového kódu.

Naši odborníci s produktom

Naši odborníci vytvoria s vaším tímom prvé súbory údajov, vyškolia ľudí, ktorí ich budú uchovávať, a odovzdajú im prax.

Zmerajte pracovný postup skôr, ako sa naň spoľahnete

Povedzte nám, ktorý pracovný postup meníte najčastejšie, a my vám ukážeme, ako vyzerá jeho benchmark.

Zoznámte sa s odborníkom