Muutke töövoogu ainult siis, kui see ikka leiab varem leitud.
Noether on tehisintellekti töövoogude võrdlusalused ja regressioonitestid. Iga töövoo versioon töötab võrdlusandmekogumitega, mille vastused on teada, ja kandidaati võrreldakse tootmises oleva versiooniga, enne kui keegi sellele tugineb.
Tõestab, et töövoo uus versioon leiab endiselt üles selle, mille eelmine leidis, enne kui keegi sellele toetub.
Benchmarkid ja regressioonitestimine AI-töövoogudele. Töövoo iga versiooni käitatakse teadaolevate vastustega etalonandmestikel ning seda hinnatakse selle järgi, mida see leiab, mis jääb leidmata ja kui palju see maksab. Kandidaatversiooni võrreldakse enne avaldamist tootmises oleva versiooniga, nii et muudatus, mille tõttu mõni leid kaob, tabatakse enne, kui see välja läheb. Esmalt tulevad töövood: järgmisena ehitatakse samad andmestikud ja benchmarkid agentidele ja mudelitele.
Töövoog muutub ainult siis, kui mõõtmised näitavad, et see leiab endiselt üles selle, mille see varem leidis.
Võimalused
Mida ja kuidas Noether mõõdab
Tehisintellekti töövoogu muudetakse sageli: uus prompt, uus mudel, uus samm. Noether vastab enne iga muudatuse tootmist ühele küsimusele: kas see leiab ikka selle, mis varem leidis?
Teatud vastustega viiteandmestikud
Iga andmestik on väike rakendus, milles on probleeme. See sisaldab täpset loendit sellest, mida töövoog peab teatama, ja probleemidest, mis näivad ainult tõelised, kuid millest see ei tohi teatada, nii et tulemust võrreldakse vastusega, mitte ei hinnata arvamust.
Andmestikud, mis muutuvad nagu kood
Andmekogum muutub läbi vaadatud muudatuse, näiteks koodi. Iga skoor nimetab andmestiku versiooni ja töövoo versiooni, millest see pärineb, seega võrreldakse kahte käitamist samal alusel.
Iga versioon samades andmekogumites
Iga töövoo versioon töötab samades andmekogumites isoleeritud keskkondades ja sellele hinnatakse toortulemusi: mida see leidis, millest jäi märkamata ja millest teatati, mida seal pole.
Kandidaat tootmises oleva versiooni vastu
Enne uue versiooni avaldamist võrreldakse seda tootmises oleva versiooniga: leiud, mida see säilitab, need, mis see kaotab, ja need, mida see võidab, kõrvuti.
Kui palju iga võrdlusanalüüs maksab
Igas võrdlusuuringus on kirjas, mis see maksab, nii et versioon, mis leiab sama madalama hinnaga või rohkem kõrgema hinnaga, on valik, mis tehakse käes olevate numbritega.
Hoida oma klientidest eraldi
Võrdlusuuringut hoitakse eraldi tööst, mida teie kliendid näevad. Testitav versioon ei muuda nende jaoks midagi enne, kui keegi otsustab selle avaldada.
Kuidas see toimib
Andmestikust avaldatud versioonini
Neli sammu. Viimane on inimese tehtud otsus, mitte kunagi uue koodi installimise kõrvalmõju.
01
Kirjutage üles, mis tuleb leida
Andmekogum sisaldab väikest rakendust, millel on juurdunud probleemid, leidude loend, millest töövoog peab teatama, ja probleemid, mis näivad ainult reaalsed, kuid millest ta ei tohi teatada.
02
Käivitage iga versioon samades andmekogumites
Tootmisversioon ja kandidaat töötavad samades andmekogumites, kumbki isoleeritud keskkonnas, ja mõlemat hinnatakse nende töötlemata tulemuste põhjal.
03
Võrrelge neid kahte
Säilitatud, kaotatud ja saadud leiud ning iga jooksu maksumus. Muudatus, mis kaotab leiu, kuvatakse siin, enne kui see tootmisse läheb.
04
Avalda otsusega
Versioon avaldatakse alles siis, kui keegi otsustab selle avaldada koos võrdlusega.
Avaldamata versioon ei jõua ühegi kliendini, olenemata sellest, kui palju kordi see on käivitatud.
Ehitatud
Loodud inimestele, kes muudavad töövoogu ja vastutavad selle tulemuste eest
Tehnika
Meeskonnad, kes loovad tehisintellekti töövooge
Muutke prompt, mudelit või sammu ja teadke enne selle tootmisse minekut, mida muutus muudatusega kaasa sai ja mida kaotas.
Kvaliteet
Inimesed, kes uue versiooni heaks kiidavad
Otsustage uue versiooni kasuks võrdluse põhjal teadaolevate vastustega, mitte juhtumite demonstreerimisega, mis juhtuvad õigeks osutuma.
Juhtimine
Need, kes vastavad tulemuste eest
Kui klient küsib, kas uus versioon ikka leiab selle, mis vana, on vastuseks juba olemasolev mõõt.
Miks Noether
Miks Noether?
Nimetatud Emmy Noether järgi, matemaatik, kelle 1918. aasta teoreem seob füüsilise süsteemi iga sümmeetria suurusega, mida süsteem säilitab. Regressioonitest küsib sama tüüpi tarkvara kohta: kui töövoog muutub, siis mis peab jääma samaks?
Töövood on esikohal, sest need muutuvad kõige sagedamini ja kaotatud leid maksab seal kõige rohkem.
Agentide ja mudelite jaoks luuakse järgmisena samad andmekogumid ja võrdlusalused: igat tüüpi andmestikud ja võrdlusalused, kus iganes muudatus peab tõestama, et see säilitas olulise.
Mis peab jääma samaks, kirja pandud
Leiud, mida töövoog peab säilitama, on loetletud andmekogumis, nii et muutust mõõdetakse pigem nende kui varasema käitumise mälu järgi.
Mõõdetud toortulemuste põhjal
Versiooni hinnatakse selle põhjal, mida see tegelikult teatas, üks leid korraga ja selle järgi, mis see maksis.
Avaldatud otsusega
Versiooni avaldamine on otsene toiming, mis tehakse pärast võrdlusalust, ja see ei ole kunagi uue koodi installimise tagajärg.
Meie eksperdid tootega
Meie eksperdid loovad koos teie meeskonnaga esimesed andmekogumid, koolitavad inimesi, kes neid hoiavad, ja annavad praktika neile üle.
Mõõtke töövoogu enne, kui sellele tuginete
Rääkige meile, millist töövoogu te kõige sagedamini muudate, ja me näitame teile, milline selle etalon välja näeb.