Benchmark-uri și teste de regresie pentru workflow-uri
Schimbă un workflow doar când găsește în continuare ce găsea înainte.
Noether face benchmark-uri și teste de regresie pentru workflow-uri AI. Fiecare versiune a unui workflow rulează pe dataset-uri de referință ale căror răspunsuri sunt cunoscute, iar o versiune candidată e comparată cu cea din producție înainte ca cineva să se bazeze pe ea.
Benchmark-uri și teste de regresie pentru workflow-uri
Dovedește că o versiune nouă a unui workflow găsește în continuare ce găsea versiunea anterioară, înainte ca cineva să se bazeze pe ea.
Benchmark-uri și teste de regresie pentru workflow-uri AI. Fiecare versiune a unui workflow rulează pe dataset-uri de referință ale căror răspunsuri sunt cunoscute și e notată în funcție de ce găsește, ce ratează și cât costă. O versiune candidată e comparată cu versiunea din producție înainte de publicare, așa că o schimbare care pierde o constatare e prinsă înainte să fie livrată. Primele sunt workflow-urile: aceleași dataset-uri și benchmark-uri urmează să fie construite pentru agenți și pentru modele.
Un workflow se schimbă doar când măsurătorile arată că găsește în continuare ce găsea înainte.
Capabilități
Ce măsoară Noether și cum
Un workflow AI se schimbă des: un prompt nou, un model nou, un pas nou. Înainte ca fiecare schimbare să ajungă în producție, Noether răspunde la o singură întrebare: găsește în continuare ce găsea înainte?
Dataset-uri de referință cu răspunsuri cunoscute
Fiecare dataset e o aplicație mică în care au fost plantate probleme. Conține lista exactă a ce trebuie să raporteze un workflow și a problemelor care doar par reale, pe care nu trebuie să le raporteze, așa că un rezultat e verificat față de un răspuns, nu judecat după o părere.
Dataset-uri care se schimbă la fel ca codul
Un dataset se schimbă printr-o modificare revizuită, la fel ca codul. Fiecare scor numește versiunea dataset-ului și versiunea workflow-ului din care provine, așa că două rulări sunt comparate pe același teren.
Fiecare versiune, pe aceleași dataset-uri
Fiecare versiune a unui workflow rulează pe aceleași dataset-uri, în medii izolate, și e notată pe baza rezultatelor ei brute: ce a găsit, ce a ratat și ce a raportat fără să existe.
O versiune candidată față de cea din producție
Înainte de publicare, o versiune nouă e comparată cu cea din producție: constatările pe care le păstrează, cele pe care le pierde și cele pe care le câștigă, una lângă alta.
Cât costă fiecare rulare de benchmark
Fiecare rulare de benchmark spune cât a costat, așa că o versiune care găsește la fel la un preț mai mic, sau mai mult la unul mai mare, e o alegere făcută cu cifrele în față.
Separat de clienții tăi
O rulare de benchmark e ținută separat de munca pe care o văd clienții tăi. O versiune aflată în test nu schimbă nimic pentru ei până când cineva decide să o publice.
Cum funcționează
De la un dataset la o versiune publicată
Patru pași. Ultimul e o decizie luată de un om, niciodată un efect secundar al instalării unui cod nou.
01
Scrie ce trebuie găsit
Un dataset conține o aplicație mică cu probleme plantate, lista constatărilor pe care un workflow trebuie să le raporteze și problemele care doar par reale, pe care nu trebuie să le raporteze.
02
Rulează fiecare versiune pe aceleași dataset-uri
Versiunea din producție și cea candidată rulează pe aceleași dataset-uri, fiecare într-un mediu izolat, și amândouă sunt notate pe baza rezultatelor lor brute.
03
Compară-le
Constatări păstrate, pierdute și câștigate, plus costul fiecărei rulări. O schimbare care pierde o constatare apare aici, înainte să ajungă în producție.
04
Publică printr-o decizie
O versiune se publică doar când cineva decide să o publice, cu comparația în față.
O versiune care nu a fost publicată nu ajunge la niciun client, oricât de des ar fi rulat.
Construit pentru
Construit pentru oamenii care schimbă un workflow și răspund pentru rezultatele lui
Inginerie
Echipele care construiesc workflow-uri AI
Schimbă un prompt, un model sau un pas și află, înainte să ajungă în producție, ce a câștigat schimbarea și ce a pierdut.
Calitate
Oamenii care aprobă o versiune nouă
Decide asupra unei versiuni noi pe baza unei comparații cu răspunsuri cunoscute, nu a unei demonstrații pe cazurile pe care se întâmplă să le rezolve corect.
Conducere
Cei care răspund pentru rezultate
Când un client întreabă dacă versiunea nouă găsește în continuare ce găsea cea veche, răspunsul e o măsurătoare care există deja.
De ce Noether
De ce Noether?
Poartă numele lui Emmy Noether, matematiciana a cărei teoremă din 1918 leagă fiecare simetrie a unui sistem fizic de o mărime pe care sistemul o conservă. Un test de regresie pune software-ului același fel de întrebare: când workflow-ul se schimbă, ce trebuie să rămână la fel?
Primele sunt workflow-urile, pentru că se schimbă cel mai des și acolo o constatare pierdută costă cel mai mult.
Aceleași dataset-uri și benchmark-uri urmează să fie construite pentru agenți și pentru modele: dataset-uri și benchmark-uri de orice fel, oriunde o schimbare trebuie să dovedească faptul că a păstrat ce conta.
Ce trebuie să rămână la fel, scris negru pe alb
Constatările pe care un workflow trebuie să le păstreze sunt listate în dataset, așa că o schimbare e măsurată față de ele, nu față de amintirea felului în care se comporta înainte.
Măsurat pe rezultate brute
O versiune e notată după ce a raportat de fapt, constatare cu constatare, și după cât a costat.
Publicare prin decizie
Publicarea unei versiuni e un act explicit, făcut după benchmark, și niciodată o consecință a instalării unui cod nou.
Experții noștri, odată cu produsul
Experții noștri construiesc primele dataset-uri împreună cu echipa ta, formează oamenii care le vor întreține și le predau practica.
Măsoară un workflow înainte să te bazezi pe el
Spune-ne ce workflow schimbi cel mai des și îți arătăm cum arată un benchmark al lui.