Natrag na platformu

Benchmarking i regresijsko testiranje workflowa

Promijenite tijek rada samo kada još uvijek pronađe ono što je pronašao prije.

Noether je referentna vrijednost i regresijsko testiranje za tijekove rada umjetne inteligencije. Svaka verzija tijeka rada radi protiv referentnih skupova podataka čiji su odgovori poznati, a kandidat se uspoređuje s verzijom u produkciji prije nego što se itko osloni na njega.

Benchmarking i regresijsko testiranje workflowa

Dokazuje da nova verzija workflowa i dalje pronalazi ono što je pronalazila prethodna, prije nego što se itko na nju osloni.

Benchmarking i regresijsko testiranje za AI workflowe. Svaka verzija workflowa pokreće se nad referentnim skupovima podataka s poznatim odgovorima i ocjenjuje se prema onome što pronađe, što propusti i koliko košta. Kandidatska verzija uspoređuje se s verzijom u produkciji prije objave, pa se promjena koja izgubi neki nalaz uhvati prije nego što se isporuči. Workflowi su prvi na redu: isti skupovi podataka i benchmark testovi zatim će se izraditi za agente i za modele.

Workflow se mijenja samo kada mjerenja pokažu da i dalje pronalazi ono što je pronalazio prije.

Sposobnosti

Što Noether mjeri i kako

AI tijek rada često se mijenja: novi prompt, novi model, novi korak. Noether odgovara na jedno pitanje prije nego što svaka promjena krene u proizvodnju: pronalazi li još uvijek ono što je pronašao prije?

Referentni skupovi podataka s poznatim odgovorima

Svaki skup podataka mala je aplikacija u koju su umetnuti problemi. Sadrži točan popis onoga što tijek rada mora prijaviti i problema koji samo izgledaju stvarni, a koje ne smije prijaviti, tako da se rezultat provjerava prema odgovoru, a ne ocjenjuje prema mišljenju.

Skupovi podataka koji se mijenjaju poput koda

Skup podataka se mijenja kroz pregledanu promjenu, poput koda. Svaki rezultat imenuje verziju skupa podataka i verziju tijeka rada iz kojeg je došao, tako da se dva rada uspoređuju na istom temelju.

Svaka verzija na istim skupovima podataka

Svaka verzija tijeka rada izvodi se na istim skupovima podataka, u izoliranim okruženjima, i boduje se prema svojim neobrađenim rezultatima: što je pronašla, što je propustila i što je prijavila da nema.

Kandidat protiv verzije u proizvodnji

Prije nego što se nova verzija objavi, uspoređuje se s verzijom u produkciji: nalazi koje zadržava, oni koje gubi i oni koje dobiva, jedno uz drugo.

Koliko košta svaka referentna vrijednost

Svaka referentna analiza navodi koliko košta, tako da je verzija koja pronalazi isto po nižoj cijeni ili više po višoj izbor napravljen s brojevima u ruci.

Odvojeni od svojih kupaca

Referentna vrijednost je odvojena od rada koji vide vaši klijenti. Verzija koja se testira za njih ne mijenja ništa dok je netko ne odluči objaviti.

Kako radi

Od skupa podataka do objavljene verzije

Četiri koraka. Posljednji je odluka koju donosi osoba, a nikada nije nuspojava instaliranja novog koda.

  1. Zapišite što se mora pronaći

    Skup podataka sadrži malu aplikaciju s umetnutim problemima, popis nalaza koje tijek rada mora prijaviti i probleme koji samo izgledaju stvarni, a koje ne smije prijaviti.

  2. Pokrenite svaku verziju na istim skupovima podataka

    Verzija u produkciji i kandidat rade na istim skupovima podataka, svaka u izoliranom okruženju, i obje se boduju na temelju svojih sirovih rezultata.

  3. Usporedite to dvoje

    Sačuvani, izgubljeni i dobiveni nalazi, te trošak svake provjere. Promjena koja gubi nalaz pojavljuje se ovdje, prije nego što ode u proizvodnju.

  4. Objaviti odlukom

    Verzija se objavljuje tek kada ju netko odluči objaviti, s usporedbom ispred sebe.

Verzija koja nije objavljena ne dolazi do korisnika, koliko god puta bila pokrenuta.

Izgrađen za

Napravljen za ljude koji mijenjaju tijek rada i odgovaraju za njegove rezultate

Inženjering

Timovi koji grade tijekove rada AI

Promijenite prompt, model ili korak i saznajte, prije nego što krene u proizvodnju, što je promjena dobila, a što izgubila.

Kvaliteta

Ljudi koji odobravaju novu verziju

Odlučite se za novu verziju na temelju usporedbe s poznatim odgovorima, a ne na temelju demonstracije slučajeva u kojima se dogodi da su točni.

Vodstvo

Oni koji odgovaraju za rezultate

Kada kupac pita pronalazi li nova verzija još uvijek ono što je stara, odgovor je mjerenje koje već postoji.

Zašto Noether

Zašto Noether?

Nazvan po Emmy Noether, matematičarki čiji teorem iz 1918. povezuje svaku simetriju fizičkog sustava s količinom koju sustav čuva. Regresijski test postavlja isto pitanje softveru: kada se tijek rada promijeni, što mora ostati isto?

Tijek rada je na prvom mjestu, jer se on najčešće mijenja i tu izgubljeni nalaz najviše košta.

Isti skupovi podataka i referentne vrijednosti izgrađuju se zatim za agente i za modele: skupovi podataka i referentne vrijednosti svake vrste, gdje god promjena mora dokazati da je zadržala ono što je važno.

Ono što mora ostati isto, zapisano

Nalazi koje tijek rada mora zadržati navedeni su u skupu podataka, tako da se promjena mjeri prema njima, a ne prema sjećanju na to kako se ponašao.

Mjereno na neobrađenim rezultatima

Verzija se ocjenjuje na temelju onoga što je stvarno prijavila, jedan po jedan nalaz, i na temelju toga koliko je to koštalo.

Objavljeno odlukom

Objavljivanje verzije izričit je čin koji se poduzima nakon usporedne analize, a nikada nije posljedica instaliranja novog koda.

Naši stručnjaci s proizvodom

Naši stručnjaci izrađuju prve skupove podataka s vašim timom, obučavaju ljude koji će ih čuvati i predaju im praksu.

Izmjerite tijek rada prije nego što se oslonite na njega

Recite nam koji tijek rada najčešće mijenjate, a mi ćemo vam pokazati kako to mjerilo izgleda.

Upoznajte stručnjaka