Promijenite tijek rada samo kada još uvijek pronađe ono što je pronašao prije.
Noether je referentna vrijednost i regresijsko testiranje za tijekove rada umjetne inteligencije. Svaka verzija tijeka rada radi protiv referentnih skupova podataka čiji su odgovori poznati, a kandidat se uspoređuje s verzijom u produkciji prije nego što se itko osloni na njega.
Dokazuje da nova verzija workflowa i dalje pronalazi ono što je pronalazila prethodna, prije nego što se itko na nju osloni.
Benchmarking i regresijsko testiranje za AI workflowe. Svaka verzija workflowa pokreće se nad referentnim skupovima podataka s poznatim odgovorima i ocjenjuje se prema onome što pronađe, što propusti i koliko košta. Kandidatska verzija uspoređuje se s verzijom u produkciji prije objave, pa se promjena koja izgubi neki nalaz uhvati prije nego što se isporuči. Workflowi su prvi na redu: isti skupovi podataka i benchmark testovi zatim će se izraditi za agente i za modele.
Workflow se mijenja samo kada mjerenja pokažu da i dalje pronalazi ono što je pronalazio prije.
Sposobnosti
Što Noether mjeri i kako
AI tijek rada često se mijenja: novi prompt, novi model, novi korak. Noether odgovara na jedno pitanje prije nego što svaka promjena krene u proizvodnju: pronalazi li još uvijek ono što je pronašao prije?
Referentni skupovi podataka s poznatim odgovorima
Svaki skup podataka mala je aplikacija u koju su umetnuti problemi. Sadrži točan popis onoga što tijek rada mora prijaviti i problema koji samo izgledaju stvarni, a koje ne smije prijaviti, tako da se rezultat provjerava prema odgovoru, a ne ocjenjuje prema mišljenju.
Skupovi podataka koji se mijenjaju poput koda
Skup podataka se mijenja kroz pregledanu promjenu, poput koda. Svaki rezultat imenuje verziju skupa podataka i verziju tijeka rada iz kojeg je došao, tako da se dva rada uspoređuju na istom temelju.
Svaka verzija na istim skupovima podataka
Svaka verzija tijeka rada izvodi se na istim skupovima podataka, u izoliranim okruženjima, i boduje se prema svojim neobrađenim rezultatima: što je pronašla, što je propustila i što je prijavila da nema.
Kandidat protiv verzije u proizvodnji
Prije nego što se nova verzija objavi, uspoređuje se s verzijom u produkciji: nalazi koje zadržava, oni koje gubi i oni koje dobiva, jedno uz drugo.
Koliko košta svaka referentna vrijednost
Svaka referentna analiza navodi koliko košta, tako da je verzija koja pronalazi isto po nižoj cijeni ili više po višoj izbor napravljen s brojevima u ruci.
Odvojeni od svojih kupaca
Referentna vrijednost je odvojena od rada koji vide vaši klijenti. Verzija koja se testira za njih ne mijenja ništa dok je netko ne odluči objaviti.
Kako radi
Od skupa podataka do objavljene verzije
Četiri koraka. Posljednji je odluka koju donosi osoba, a nikada nije nuspojava instaliranja novog koda.
01
Zapišite što se mora pronaći
Skup podataka sadrži malu aplikaciju s umetnutim problemima, popis nalaza koje tijek rada mora prijaviti i probleme koji samo izgledaju stvarni, a koje ne smije prijaviti.
02
Pokrenite svaku verziju na istim skupovima podataka
Verzija u produkciji i kandidat rade na istim skupovima podataka, svaka u izoliranom okruženju, i obje se boduju na temelju svojih sirovih rezultata.
03
Usporedite to dvoje
Sačuvani, izgubljeni i dobiveni nalazi, te trošak svake provjere. Promjena koja gubi nalaz pojavljuje se ovdje, prije nego što ode u proizvodnju.
04
Objaviti odlukom
Verzija se objavljuje tek kada ju netko odluči objaviti, s usporedbom ispred sebe.
Verzija koja nije objavljena ne dolazi do korisnika, koliko god puta bila pokrenuta.
Izgrađen za
Napravljen za ljude koji mijenjaju tijek rada i odgovaraju za njegove rezultate
Inženjering
Timovi koji grade tijekove rada AI
Promijenite prompt, model ili korak i saznajte, prije nego što krene u proizvodnju, što je promjena dobila, a što izgubila.
Kvaliteta
Ljudi koji odobravaju novu verziju
Odlučite se za novu verziju na temelju usporedbe s poznatim odgovorima, a ne na temelju demonstracije slučajeva u kojima se dogodi da su točni.
Vodstvo
Oni koji odgovaraju za rezultate
Kada kupac pita pronalazi li nova verzija još uvijek ono što je stara, odgovor je mjerenje koje već postoji.
Zašto Noether
Zašto Noether?
Nazvan po Emmy Noether, matematičarki čiji teorem iz 1918. povezuje svaku simetriju fizičkog sustava s količinom koju sustav čuva. Regresijski test postavlja isto pitanje softveru: kada se tijek rada promijeni, što mora ostati isto?
Tijek rada je na prvom mjestu, jer se on najčešće mijenja i tu izgubljeni nalaz najviše košta.
Isti skupovi podataka i referentne vrijednosti izgrađuju se zatim za agente i za modele: skupovi podataka i referentne vrijednosti svake vrste, gdje god promjena mora dokazati da je zadržala ono što je važno.
Ono što mora ostati isto, zapisano
Nalazi koje tijek rada mora zadržati navedeni su u skupu podataka, tako da se promjena mjeri prema njima, a ne prema sjećanju na to kako se ponašao.
Mjereno na neobrađenim rezultatima
Verzija se ocjenjuje na temelju onoga što je stvarno prijavila, jedan po jedan nalaz, i na temelju toga koliko je to koštalo.
Objavljeno odlukom
Objavljivanje verzije izričit je čin koji se poduzima nakon usporedne analize, a nikada nije posljedica instaliranja novog koda.
Naši stručnjaci s proizvodom
Naši stručnjaci izrađuju prve skupove podataka s vašim timom, obučavaju ljude koji će ih čuvati i predaju im praksu.
Izmjerite tijek rada prije nego što se oslonite na njega
Recite nam koji tijek rada najčešće mijenjate, a mi ćemo vam pokazati kako to mjerilo izgleda.