Atpakaļ uz platformu

Darbplūsmu benchmark un regresijas testēšana

Mainiet darbplūsmu tikai tad, kad tā joprojām atrod to, ko tā atrada iepriekš.

Noether ir etalonuzdevumi un regresijas pārbaude AI darbplūsmām. Katra darbplūsmas versija darbojas ar atsauces datu kopām, kuru atbildes ir zināmas, un kandidāts tiek salīdzināts ar ražošanas versiju, pirms kāds uz to paļaujas.

Darbplūsmu benchmark un regresijas testēšana

Pierāda, ka jaunā darbplūsmas versija joprojām atrod to, ko atrada iepriekšējā, pirms kāds uz to paļaujas.

Benchmark un regresijas testēšana AI darbplūsmām. Katra darbplūsmas versija tiek palaista ar atsauces datu kopām, kuru atbildes ir zināmas, un novērtēta pēc tā, ko tā atrod, ko palaiž garām un cik tā maksā. Pirms publicēšanas kandidātversiju salīdzina ar versiju, kas darbojas ražošanas vidē, tāpēc izmaiņu, kuras dēļ pazūd atradums, pamana, pirms tā tiek izlaista. Darbplūsmas ir pirmās: tālāk tās pašas datu kopas un benchmark tiks veidotas aģentiem un modeļiem.

Darbplūsma mainās tikai tad, kad mērījumi rāda, ka tā joprojām atrod to, ko atrada iepriekš.

Iespējas

Ko Noether mēra un kā

AI darbplūsma tiek bieži mainīta: jauns prompt, jauns modelis, jauns solis. Noether atbild uz vienu jautājumu pirms katras izmaiņas tiek sāktas ražošanā: vai tā joprojām atrod to, ko atrada iepriekš?

Atsauces datu kopas ar zināmām atbildēm

Katra datu kopa ir neliela lietojumprogramma ar tajā ieliktām problēmām. Tajā ir precīzs saraksts ar to, par ko darbplūsmā ir jāziņo, un par problēmām, kas tikai izskatās reālas, par kurām tā nedrīkst ziņot, tāpēc rezultāts tiek salīdzināts ar atbildi, nevis tiek vērtēts pēc viedokļa.

Datu kopas, kas mainās kā kods

Datu kopa mainās, veicot pārskatītas izmaiņas, piemēram, kodu. Katrs rezultāts nosauc datu kopas versiju un darbplūsmas versiju, no kuras tā tika iegūta, tāpēc divas darbības tiek salīdzinātas vienā un tajā pašā vietā.

Katra versija tajās pašās datu kopās

Katra darbplūsmas versija darbojas vienās un tajās pašās datu kopās izolētā vidē un tiek novērtēta pēc neapstrādātajiem rezultātiem: ko tā atrada, ko tā palaida garām un ko ziņoja, kas tur nav.

Kandidāts pret versiju ražošanā

Pirms jaunas versijas publicēšanas tā tiek salīdzināta ar ražošanā esošo versiju: blakus atradumi, ko tā saglabā, pazaudē un iegūst.

Cik maksā katrs etalons

Katrā etalona izpildē ir norādīts, cik tas maksā, tāpēc versija, kas atrod to pašu par zemāku cenu vai vairāk par augstāku cenu, ir izvēle, kas izdarīta, ņemot vērā skaitļus.

Nošķirti no klientiem

Etalona gaita tiek nošķirta no darba, ko redz jūsu klienti. Pārbaudāmā versija viņiem neko nemaina, līdz kāds nolemj to publicēt.

Kā tas darbojas

No datu kopas līdz publicētai versijai

Četri soļi. Pēdējais ir personas lēmums, kas nekad nav jauna koda instalēšanas blakusefekts.

  1. Pierakstiet, kas jāatrod

    Datu kopā ir neliela lietojumprogramma ar iestrādātām problēmām, atklājumu saraksts, par kuriem jāziņo darbplūsmai, un problēmas, kas tikai izskatās reālas, un par kurām tā nedrīkst ziņot.

  2. Palaidiet katru versiju tajās pašās datu kopās

    Ražošanas versija un kandidāts darbojas vienā datu kopā, katra izolētā vidē, un abas tiek novērtētas, pamatojoties uz neapstrādātajiem rezultātiem.

  3. Salīdziniet abus

    Saglabātie, zaudētie un iegūtie atklājumi, kā arī katras darbības izmaksas. Izmaiņas, kas zaudē atradumu, tiek parādītas šeit, pirms tās nonāk ražošanā.

  4. Publicēt ar lēmumu

    Versija tiek publicēta tikai tad, kad kāds nolemj to publicēt, un priekšā ir salīdzinājums.

Versija, kas nav publicēta, nesasniedz nevienu klientu, lai arī cik reižu tā ir darbojusies.

Būvēts priekš

Izstrādāts cilvēkiem, kuri maina darbplūsmu un atbild par tās rezultātiem

Inženierzinātnes

Komandas, kas veido AI darbplūsmas

Mainiet prompt, modeli vai soli un, pirms tas nonāk ražošanā, uzziniet, ko izmaiņas ieguva un ko zaudēja.

Kvalitāte

Cilvēki, kas apstiprina jaunu versiju

Izlemiet par jaunu versiju, salīdzinot ar zināmajām atbildēm, nevis no demonstrācijas par gadījumiem, kad tas notiek pareizi.

Vadība

Tie, kas atbild par rezultātiem

Kad klients jautā, vai jaunā versija joprojām atrod to, ko atrada vecā, atbilde ir mērījums, kas jau pastāv.

Kāpēc Noether

Kāpēc Noether?

Nosaukts pēc Emijas Noether — matemātiķa, kura 1918. gada teorēma saista katru fiziskās sistēmas simetriju ar lielumu, ko sistēma saglabā. Regresijas tests uzdod tādu pašu jautājumu par programmatūru: mainoties darbplūsmai, kam jāpaliek nemainīgam?

Darbplūsmas ir pirmajā vietā, jo tās mainās visbiežāk un tur pazaudēts atradums maksā visvairāk.

Tās pašas datu kopas un etaloni tiek veidoti aģentiem un modeļiem: jebkura veida datu kopas un etaloni neatkarīgi no tā, kur ir jāpierāda, ka izmaiņas ir saglabājušas svarīgumu.

Kam jāpaliek nemainīgam, pierakstīts

Rezultāti, kas jāsaglabā darbplūsmā, ir uzskaitīti datu kopā, tāpēc izmaiņas tiek mērītas, salīdzinot ar tiem, nevis atmiņu par to, kā tā agrāk darbojās.

Mērīts pēc neapstrādātiem rezultātiem

Versija tiek vērtēta pēc faktiskā ziņojuma, pa vienam atradumam un par to, cik tas maksā.

Publicēts ar lēmumu

Versijas publicēšana ir nepārprotama darbība pēc etalona, un tā nekad nav jauna koda instalēšanas sekas.

Mūsu eksperti ar produktu

Mūsu eksperti kopā ar jūsu komandu izveido pirmās datu kopas, apmāca cilvēkus, kas tās saglabās, un nodod viņiem praksi.

Izmēriet darbplūsmu, pirms paļaujaties uz to

Pastāstiet mums, kuru darbplūsmu jūs maināt visbiežāk, un mēs parādīsim, kā izskatās tās etalons.

Iepazīstieties ar ekspertu