Keiskite darbo eigą tik tada, kai ji vis dar randa tai, ką rado anksčiau.
Noether yra AI darbo eigos etalonas ir regresinis testavimas. Kiekviena darbo eigos versija veikia pagal referencinius duomenų rinkinius, kurių atsakymai žinomi, o kandidatas lyginamas su gamybine versija, kol kas nors ja nepasikliauja.
Įrodo, kad nauja workflow versija vis dar randa tai, ką rado ankstesnioji, dar prieš kam nors ja pasikliaujant.
Benchmark ir regresinis testavimas, skirtas AI workflow. Kiekviena workflow versija paleidžiama su etaloniniais duomenų rinkiniais, kurių atsakymai žinomi, ir vertinama pagal tai, ką ji randa, ką praleidžia ir kiek kainuoja. Kandidatinė versija prieš publikavimą palyginama su gamybinėje aplinkoje veikiančia versija, todėl pakeitimas, dėl kurio dingsta radinys, pastebimas dar prieš jį išleidžiant. Pirmiausia workflow: vėliau tie patys duomenų rinkiniai ir benchmark bus kuriami agentams ir modeliams.
Workflow keičiamas tik tada, kai matavimai rodo, kad jis vis dar randa tai, ką rado anksčiau.
Pajėgumai
Kokias Noether priemones ir kaip
DI darbo eiga dažnai keičiama: naujas prompt, naujas modelis, naujas žingsnis. Noether atsako į vieną klausimą prieš pradedant kiekvieną pakeitimą: ar jis vis dar randa tai, ką rado anksčiau?
Nuorodų duomenų rinkiniai su žinomais atsakymais
Kiekvienas duomenų rinkinys yra nedidelė programa, kurioje yra problemų. Jame pateikiamas tikslus sąrašas, ką darbo eiga turi pranešti, ir problemų, kurios tik atrodo tikroviškos, apie kurias ji neturi pranešti, todėl rezultatas lyginamas su atsakymu, o ne vertinamas pagal nuomonę.
Duomenų rinkiniai, kurie keičiasi kaip kodas
Duomenų rinkinys keičiasi peržiūrėjus pakeitimą, pvz., kodą. Kiekviename bale įvardijama duomenų rinkinio versija ir darbo eigos versija, iš kurios jis buvo gautas, todėl du paleidimai lyginami toje pačioje vietoje.
Kiekviena versija tame pačiame duomenų rinkinyje
Kiekviena darbo eigos versija veikia tais pačiais duomenų rinkiniais izoliuotoje aplinkoje ir įvertinama pagal neapdorotus rezultatus: ką ji rado, ko praleido ir ką pranešė, ko nėra.
Kandidatas prieš gaminamą versiją
Prieš paskelbiant naują versiją, ji lyginama su gaminama versija: greta jos išlaikomi radiniai, kuriuos praranda ir įgyja.
Kiek kainuoja kiekvienas etalonas
Kiekvienoje etaloninėje pakopoje nurodoma, kiek tai kainuoja, todėl versija, kuri randa tą patį už mažesnę kainą arba daugiau už didesnę kainą, yra pasirinkimas, turint omenyje skaičius.
Atskirti nuo savo klientų
Etaloninis vykdymas yra atskirtas nuo darbo, kurį mato jūsų klientai. Bandoma versija jiems nieko nekeičia, kol kas nors nenusprendžia jos paskelbti.
Kaip tai veikia
Nuo duomenų rinkinio iki paskelbtos versijos
Keturi žingsniai. Paskutinis yra žmogaus priimtas sprendimas, niekada nėra šalutinis naujo kodo diegimo poveikis.
01
Parašykite, ką reikia rasti
Duomenų rinkinyje yra nedidelė programa su nustatytomis problemomis, išvadų, kurias darbo eiga turi pranešti, sąrašas ir problemos, kurios tik atrodo tikroviškos, kurių ji neturi pranešti.
02
Paleiskite kiekvieną versiją tuose pačiuose duomenų rinkiniuose
Gamybos versija ir kandidatas veikia tuose pačiuose duomenų rinkiniuose, kiekvienas atskirtoje aplinkoje, ir abu vertinami pagal neapdorotus rezultatus.
03
Palyginkite abu
Išsaugotos, prarastos ir įgytos išvados bei kiekvieno paleidimo kaina. Pakeitimas, kuris praranda radinį, pasirodo čia, prieš pradedant jį gaminti.
04
Skelbti sprendimu
Versija skelbiama tik tada, kai kas nors nusprendžia ją paskelbti, priešais juos pateikiant palyginimą.
Versija, kuri nebuvo paskelbta, nepasiekia nė vieno kliento, kad ir kaip daug kartų buvo paleista.
Sukurta
Sukurta žmonėms, kurie keičia darbo eigą ir atsako už jos rezultatus
Inžinerija
Komandos, kuriančios AI darbo eigą
Pakeiskite prompt, modelį ar žingsnį ir prieš pradėdami gaminti, sužinokite, ką pakeitimas gavo ir ką prarado.
Kokybė
Žmonės, kurie patvirtina naują versiją
Nuspręskite dėl naujos versijos, palygindami su žinomais atsakymais, o ne iš pademonstruodami atvejus, kai taip atsitinka.
Lyderystė
Tie, kurie atsako už rezultatus
Kai klientas klausia, ar naujoji versija vis dar randa tai, ką rado senoji, atsakymas yra jau egzistuojantis matavimas.
Kodėl Noether
Kodėl Noether?
Pavadintas Emmy Noether, matematiko, kurio 1918 m. teorema susieja kiekvieną fizinės sistemos simetriją su dydžiu, kurį sistema išsaugo, vardu. Regresijos testas užduoda tokį patį klausimą apie programinę įrangą: pasikeitus darbo eigai, kas turi likti nepakitusi?
Darbo eigos yra pirmoje vietoje, nes jos keičiasi dažniausiai ir ten pamestas radinys kainuoja brangiausiai.
Tie patys duomenų rinkiniai ir lyginamieji standartai yra sukurti agentams ir modeliams: visų rūšių duomenų rinkiniai ir etalonai, kad ir kur būtų įrodyta, kad pakeitimas išliko svarbus.
Kas turi likti nepakitusi, surašyta
Rezultatai, kuriuos darbo eiga turi išlaikyti, yra išvardyti duomenų rinkinyje, todėl pokytis vertinamas pagal juos, o ne pagal atmintį, kaip ji elgėsi.
Matuojama pagal neapdorotus rezultatus
Versija vertinama pagal tai, ką ji iš tikrųjų pranešė, po vieną radinį ir kiek tai kainavo.
Paskelbta sprendimu
Versijos paskelbimas yra aiškus veiksmas, atliktas po etalono, ir niekada nėra naujo kodo diegimo pasekmė.
Mūsų ekspertai su produktu
Mūsų ekspertai kartu su jūsų komanda sukuria pirmuosius duomenų rinkinius, apmoko žmones, kurie juos saugos, ir perduoda jiems praktiką.
Išmatuokite darbo eigą prieš ja pasitikėdami
Pasakykite mums, kurią darbo eigą dažniausiai keičiate, ir mes parodysime, kaip atrodo jos etalonas.