Înapoi la platformă

Benchmark-uri și teste de regresie pentru workflow-uri

Schimbă un workflow doar când găsește în continuare ce găsea înainte.

Noether face benchmark-uri și teste de regresie pentru workflow-uri AI. Fiecare versiune a unui workflow rulează pe dataset-uri de referință ale căror răspunsuri sunt cunoscute, iar o versiune candidată e comparată cu cea din producție înainte ca cineva să se bazeze pe ea.

Benchmark-uri și teste de regresie pentru workflow-uri

Dovedește că o versiune nouă a unui workflow găsește în continuare ce găsea versiunea anterioară, înainte ca cineva să se bazeze pe ea.

Benchmark-uri și teste de regresie pentru workflow-uri AI. Fiecare versiune a unui workflow rulează pe dataset-uri de referință ale căror răspunsuri sunt cunoscute și e notată în funcție de ce găsește, ce ratează și cât costă. O versiune candidată e comparată cu versiunea din producție înainte de publicare, așa că o schimbare care pierde o constatare e prinsă înainte să fie livrată. Primele sunt workflow-urile: aceleași dataset-uri și benchmark-uri urmează să fie construite pentru agenți și pentru modele.

Un workflow se schimbă doar când măsurătorile arată că găsește în continuare ce găsea înainte.

Capabilități

Ce măsoară Noether și cum

Un workflow AI se schimbă des: un prompt nou, un model nou, un pas nou. Înainte ca fiecare schimbare să ajungă în producție, Noether răspunde la o singură întrebare: găsește în continuare ce găsea înainte?

Dataset-uri de referință cu răspunsuri cunoscute

Fiecare dataset e o aplicație mică în care au fost plantate probleme. Conține lista exactă a ce trebuie să raporteze un workflow și a problemelor care doar par reale, pe care nu trebuie să le raporteze, așa că un rezultat e verificat față de un răspuns, nu judecat după o părere.

Dataset-uri care se schimbă la fel ca codul

Un dataset se schimbă printr-o modificare revizuită, la fel ca codul. Fiecare scor numește versiunea dataset-ului și versiunea workflow-ului din care provine, așa că două rulări sunt comparate pe același teren.

Fiecare versiune, pe aceleași dataset-uri

Fiecare versiune a unui workflow rulează pe aceleași dataset-uri, în medii izolate, și e notată pe baza rezultatelor ei brute: ce a găsit, ce a ratat și ce a raportat fără să existe.

O versiune candidată față de cea din producție

Înainte de publicare, o versiune nouă e comparată cu cea din producție: constatările pe care le păstrează, cele pe care le pierde și cele pe care le câștigă, una lângă alta.

Cât costă fiecare rulare de benchmark

Fiecare rulare de benchmark spune cât a costat, așa că o versiune care găsește la fel la un preț mai mic, sau mai mult la unul mai mare, e o alegere făcută cu cifrele în față.

Separat de clienții tăi

O rulare de benchmark e ținută separat de munca pe care o văd clienții tăi. O versiune aflată în test nu schimbă nimic pentru ei până când cineva decide să o publice.

Cum funcționează

De la un dataset la o versiune publicată

Patru pași. Ultimul e o decizie luată de un om, niciodată un efect secundar al instalării unui cod nou.

  1. Scrie ce trebuie găsit

    Un dataset conține o aplicație mică cu probleme plantate, lista constatărilor pe care un workflow trebuie să le raporteze și problemele care doar par reale, pe care nu trebuie să le raporteze.

  2. Rulează fiecare versiune pe aceleași dataset-uri

    Versiunea din producție și cea candidată rulează pe aceleași dataset-uri, fiecare într-un mediu izolat, și amândouă sunt notate pe baza rezultatelor lor brute.

  3. Compară-le

    Constatări păstrate, pierdute și câștigate, plus costul fiecărei rulări. O schimbare care pierde o constatare apare aici, înainte să ajungă în producție.

  4. Publică printr-o decizie

    O versiune se publică doar când cineva decide să o publice, cu comparația în față.

O versiune care nu a fost publicată nu ajunge la niciun client, oricât de des ar fi rulat.

Construit pentru

Construit pentru oamenii care schimbă un workflow și răspund pentru rezultatele lui

Inginerie

Echipele care construiesc workflow-uri AI

Schimbă un prompt, un model sau un pas și află, înainte să ajungă în producție, ce a câștigat schimbarea și ce a pierdut.

Calitate

Oamenii care aprobă o versiune nouă

Decide asupra unei versiuni noi pe baza unei comparații cu răspunsuri cunoscute, nu a unei demonstrații pe cazurile pe care se întâmplă să le rezolve corect.

Conducere

Cei care răspund pentru rezultate

Când un client întreabă dacă versiunea nouă găsește în continuare ce găsea cea veche, răspunsul e o măsurătoare care există deja.

De ce Noether

De ce Noether?

Poartă numele lui Emmy Noether, matematiciana a cărei teoremă din 1918 leagă fiecare simetrie a unui sistem fizic de o mărime pe care sistemul o conservă. Un test de regresie pune software-ului același fel de întrebare: când workflow-ul se schimbă, ce trebuie să rămână la fel?

Primele sunt workflow-urile, pentru că se schimbă cel mai des și acolo o constatare pierdută costă cel mai mult.

Aceleași dataset-uri și benchmark-uri urmează să fie construite pentru agenți și pentru modele: dataset-uri și benchmark-uri de orice fel, oriunde o schimbare trebuie să dovedească faptul că a păstrat ce conta.

Ce trebuie să rămână la fel, scris negru pe alb

Constatările pe care un workflow trebuie să le păstreze sunt listate în dataset, așa că o schimbare e măsurată față de ele, nu față de amintirea felului în care se comporta înainte.

Măsurat pe rezultate brute

O versiune e notată după ce a raportat de fapt, constatare cu constatare, și după cât a costat.

Publicare prin decizie

Publicarea unei versiuni e un act explicit, făcut după benchmark, și niciodată o consecință a instalării unui cod nou.

Experții noștri, odată cu produsul

Experții noștri construiesc primele dataset-uri împreună cu echipa ta, formează oamenii care le vor întreține și le predau practica.

Măsoară un workflow înainte să te bazezi pe el

Spune-ne ce workflow schimbi cel mai des și îți arătăm cum arată un benchmark al lui.

Întâlnește un expert