Mainiet darbplūsmu tikai tad, kad tā joprojām atrod to, ko tā atrada iepriekš.
Noether ir etalonuzdevumi un regresijas pārbaude AI darbplūsmām. Katra darbplūsmas versija darbojas ar atsauces datu kopām, kuru atbildes ir zināmas, un kandidāts tiek salīdzināts ar ražošanas versiju, pirms kāds uz to paļaujas.
Pierāda, ka jaunā darbplūsmas versija joprojām atrod to, ko atrada iepriekšējā, pirms kāds uz to paļaujas.
Benchmark un regresijas testēšana AI darbplūsmām. Katra darbplūsmas versija tiek palaista ar atsauces datu kopām, kuru atbildes ir zināmas, un novērtēta pēc tā, ko tā atrod, ko palaiž garām un cik tā maksā. Pirms publicēšanas kandidātversiju salīdzina ar versiju, kas darbojas ražošanas vidē, tāpēc izmaiņu, kuras dēļ pazūd atradums, pamana, pirms tā tiek izlaista. Darbplūsmas ir pirmās: tālāk tās pašas datu kopas un benchmark tiks veidotas aģentiem un modeļiem.
Darbplūsma mainās tikai tad, kad mērījumi rāda, ka tā joprojām atrod to, ko atrada iepriekš.
Iespējas
Ko Noether mēra un kā
AI darbplūsma tiek bieži mainīta: jauns prompt, jauns modelis, jauns solis. Noether atbild uz vienu jautājumu pirms katras izmaiņas tiek sāktas ražošanā: vai tā joprojām atrod to, ko atrada iepriekš?
Atsauces datu kopas ar zināmām atbildēm
Katra datu kopa ir neliela lietojumprogramma ar tajā ieliktām problēmām. Tajā ir precīzs saraksts ar to, par ko darbplūsmā ir jāziņo, un par problēmām, kas tikai izskatās reālas, par kurām tā nedrīkst ziņot, tāpēc rezultāts tiek salīdzināts ar atbildi, nevis tiek vērtēts pēc viedokļa.
Datu kopas, kas mainās kā kods
Datu kopa mainās, veicot pārskatītas izmaiņas, piemēram, kodu. Katrs rezultāts nosauc datu kopas versiju un darbplūsmas versiju, no kuras tā tika iegūta, tāpēc divas darbības tiek salīdzinātas vienā un tajā pašā vietā.
Katra versija tajās pašās datu kopās
Katra darbplūsmas versija darbojas vienās un tajās pašās datu kopās izolētā vidē un tiek novērtēta pēc neapstrādātajiem rezultātiem: ko tā atrada, ko tā palaida garām un ko ziņoja, kas tur nav.
Kandidāts pret versiju ražošanā
Pirms jaunas versijas publicēšanas tā tiek salīdzināta ar ražošanā esošo versiju: blakus atradumi, ko tā saglabā, pazaudē un iegūst.
Cik maksā katrs etalons
Katrā etalona izpildē ir norādīts, cik tas maksā, tāpēc versija, kas atrod to pašu par zemāku cenu vai vairāk par augstāku cenu, ir izvēle, kas izdarīta, ņemot vērā skaitļus.
Nošķirti no klientiem
Etalona gaita tiek nošķirta no darba, ko redz jūsu klienti. Pārbaudāmā versija viņiem neko nemaina, līdz kāds nolemj to publicēt.
Kā tas darbojas
No datu kopas līdz publicētai versijai
Četri soļi. Pēdējais ir personas lēmums, kas nekad nav jauna koda instalēšanas blakusefekts.
01
Pierakstiet, kas jāatrod
Datu kopā ir neliela lietojumprogramma ar iestrādātām problēmām, atklājumu saraksts, par kuriem jāziņo darbplūsmai, un problēmas, kas tikai izskatās reālas, un par kurām tā nedrīkst ziņot.
02
Palaidiet katru versiju tajās pašās datu kopās
Ražošanas versija un kandidāts darbojas vienā datu kopā, katra izolētā vidē, un abas tiek novērtētas, pamatojoties uz neapstrādātajiem rezultātiem.
03
Salīdziniet abus
Saglabātie, zaudētie un iegūtie atklājumi, kā arī katras darbības izmaksas. Izmaiņas, kas zaudē atradumu, tiek parādītas šeit, pirms tās nonāk ražošanā.
04
Publicēt ar lēmumu
Versija tiek publicēta tikai tad, kad kāds nolemj to publicēt, un priekšā ir salīdzinājums.
Versija, kas nav publicēta, nesasniedz nevienu klientu, lai arī cik reižu tā ir darbojusies.
Būvēts priekš
Izstrādāts cilvēkiem, kuri maina darbplūsmu un atbild par tās rezultātiem
Inženierzinātnes
Komandas, kas veido AI darbplūsmas
Mainiet prompt, modeli vai soli un, pirms tas nonāk ražošanā, uzziniet, ko izmaiņas ieguva un ko zaudēja.
Kvalitāte
Cilvēki, kas apstiprina jaunu versiju
Izlemiet par jaunu versiju, salīdzinot ar zināmajām atbildēm, nevis no demonstrācijas par gadījumiem, kad tas notiek pareizi.
Vadība
Tie, kas atbild par rezultātiem
Kad klients jautā, vai jaunā versija joprojām atrod to, ko atrada vecā, atbilde ir mērījums, kas jau pastāv.
Kāpēc Noether
Kāpēc Noether?
Nosaukts pēc Emijas Noether — matemātiķa, kura 1918. gada teorēma saista katru fiziskās sistēmas simetriju ar lielumu, ko sistēma saglabā. Regresijas tests uzdod tādu pašu jautājumu par programmatūru: mainoties darbplūsmai, kam jāpaliek nemainīgam?
Darbplūsmas ir pirmajā vietā, jo tās mainās visbiežāk un tur pazaudēts atradums maksā visvairāk.
Tās pašas datu kopas un etaloni tiek veidoti aģentiem un modeļiem: jebkura veida datu kopas un etaloni neatkarīgi no tā, kur ir jāpierāda, ka izmaiņas ir saglabājušas svarīgumu.
Kam jāpaliek nemainīgam, pierakstīts
Rezultāti, kas jāsaglabā darbplūsmā, ir uzskaitīti datu kopā, tāpēc izmaiņas tiek mērītas, salīdzinot ar tiem, nevis atmiņu par to, kā tā agrāk darbojās.
Mērīts pēc neapstrādātiem rezultātiem
Versija tiek vērtēta pēc faktiskā ziņojuma, pa vienam atradumam un par to, cik tas maksā.
Publicēts ar lēmumu
Versijas publicēšana ir nepārprotama darbība pēc etalona, un tā nekad nav jauna koda instalēšanas sekas.
Mūsu eksperti ar produktu
Mūsu eksperti kopā ar jūsu komandu izveido pirmās datu kopas, apmāca cilvēkus, kas tās saglabās, un nodod viņiem praksi.
Izmēriet darbplūsmu, pirms paļaujaties uz to
Pastāstiet mums, kuru darbplūsmu jūs maināt visbiežāk, un mēs parādīsim, kā izskatās tās etalons.