Atgal į platformą

Workflow benchmark ir regresinis testavimas

Keiskite darbo eigą tik tada, kai ji vis dar randa tai, ką rado anksčiau.

Noether yra AI darbo eigos etalonas ir regresinis testavimas. Kiekviena darbo eigos versija veikia pagal referencinius duomenų rinkinius, kurių atsakymai žinomi, o kandidatas lyginamas su gamybine versija, kol kas nors ja nepasikliauja.

Workflow benchmark ir regresinis testavimas

Įrodo, kad nauja workflow versija vis dar randa tai, ką rado ankstesnioji, dar prieš kam nors ja pasikliaujant.

Benchmark ir regresinis testavimas, skirtas AI workflow. Kiekviena workflow versija paleidžiama su etaloniniais duomenų rinkiniais, kurių atsakymai žinomi, ir vertinama pagal tai, ką ji randa, ką praleidžia ir kiek kainuoja. Kandidatinė versija prieš publikavimą palyginama su gamybinėje aplinkoje veikiančia versija, todėl pakeitimas, dėl kurio dingsta radinys, pastebimas dar prieš jį išleidžiant. Pirmiausia workflow: vėliau tie patys duomenų rinkiniai ir benchmark bus kuriami agentams ir modeliams.

Workflow keičiamas tik tada, kai matavimai rodo, kad jis vis dar randa tai, ką rado anksčiau.

Pajėgumai

Kokias Noether priemones ir kaip

DI darbo eiga dažnai keičiama: naujas prompt, naujas modelis, naujas žingsnis. Noether atsako į vieną klausimą prieš pradedant kiekvieną pakeitimą: ar jis vis dar randa tai, ką rado anksčiau?

Nuorodų duomenų rinkiniai su žinomais atsakymais

Kiekvienas duomenų rinkinys yra nedidelė programa, kurioje yra problemų. Jame pateikiamas tikslus sąrašas, ką darbo eiga turi pranešti, ir problemų, kurios tik atrodo tikroviškos, apie kurias ji neturi pranešti, todėl rezultatas lyginamas su atsakymu, o ne vertinamas pagal nuomonę.

Duomenų rinkiniai, kurie keičiasi kaip kodas

Duomenų rinkinys keičiasi peržiūrėjus pakeitimą, pvz., kodą. Kiekviename bale įvardijama duomenų rinkinio versija ir darbo eigos versija, iš kurios jis buvo gautas, todėl du paleidimai lyginami toje pačioje vietoje.

Kiekviena versija tame pačiame duomenų rinkinyje

Kiekviena darbo eigos versija veikia tais pačiais duomenų rinkiniais izoliuotoje aplinkoje ir įvertinama pagal neapdorotus rezultatus: ką ji rado, ko praleido ir ką pranešė, ko nėra.

Kandidatas prieš gaminamą versiją

Prieš paskelbiant naują versiją, ji lyginama su gaminama versija: greta jos išlaikomi radiniai, kuriuos praranda ir įgyja.

Kiek kainuoja kiekvienas etalonas

Kiekvienoje etaloninėje pakopoje nurodoma, kiek tai kainuoja, todėl versija, kuri randa tą patį už mažesnę kainą arba daugiau už didesnę kainą, yra pasirinkimas, turint omenyje skaičius.

Atskirti nuo savo klientų

Etaloninis vykdymas yra atskirtas nuo darbo, kurį mato jūsų klientai. Bandoma versija jiems nieko nekeičia, kol kas nors nenusprendžia jos paskelbti.

Kaip tai veikia

Nuo duomenų rinkinio iki paskelbtos versijos

Keturi žingsniai. Paskutinis yra žmogaus priimtas sprendimas, niekada nėra šalutinis naujo kodo diegimo poveikis.

  1. Parašykite, ką reikia rasti

    Duomenų rinkinyje yra nedidelė programa su nustatytomis problemomis, išvadų, kurias darbo eiga turi pranešti, sąrašas ir problemos, kurios tik atrodo tikroviškos, kurių ji neturi pranešti.

  2. Paleiskite kiekvieną versiją tuose pačiuose duomenų rinkiniuose

    Gamybos versija ir kandidatas veikia tuose pačiuose duomenų rinkiniuose, kiekvienas atskirtoje aplinkoje, ir abu vertinami pagal neapdorotus rezultatus.

  3. Palyginkite abu

    Išsaugotos, prarastos ir įgytos išvados bei kiekvieno paleidimo kaina. Pakeitimas, kuris praranda radinį, pasirodo čia, prieš pradedant jį gaminti.

  4. Skelbti sprendimu

    Versija skelbiama tik tada, kai kas nors nusprendžia ją paskelbti, priešais juos pateikiant palyginimą.

Versija, kuri nebuvo paskelbta, nepasiekia nė vieno kliento, kad ir kaip daug kartų buvo paleista.

Sukurta

Sukurta žmonėms, kurie keičia darbo eigą ir atsako už jos rezultatus

Inžinerija

Komandos, kuriančios AI darbo eigą

Pakeiskite prompt, modelį ar žingsnį ir prieš pradėdami gaminti, sužinokite, ką pakeitimas gavo ir ką prarado.

Kokybė

Žmonės, kurie patvirtina naują versiją

Nuspręskite dėl naujos versijos, palygindami su žinomais atsakymais, o ne iš pademonstruodami atvejus, kai taip atsitinka.

Lyderystė

Tie, kurie atsako už rezultatus

Kai klientas klausia, ar naujoji versija vis dar randa tai, ką rado senoji, atsakymas yra jau egzistuojantis matavimas.

Kodėl Noether

Kodėl Noether?

Pavadintas Emmy Noether, matematiko, kurio 1918 m. teorema susieja kiekvieną fizinės sistemos simetriją su dydžiu, kurį sistema išsaugo, vardu. Regresijos testas užduoda tokį patį klausimą apie programinę įrangą: pasikeitus darbo eigai, kas turi likti nepakitusi?

Darbo eigos yra pirmoje vietoje, nes jos keičiasi dažniausiai ir ten pamestas radinys kainuoja brangiausiai.

Tie patys duomenų rinkiniai ir lyginamieji standartai yra sukurti agentams ir modeliams: visų rūšių duomenų rinkiniai ir etalonai, kad ir kur būtų įrodyta, kad pakeitimas išliko svarbus.

Kas turi likti nepakitusi, surašyta

Rezultatai, kuriuos darbo eiga turi išlaikyti, yra išvardyti duomenų rinkinyje, todėl pokytis vertinamas pagal juos, o ne pagal atmintį, kaip ji elgėsi.

Matuojama pagal neapdorotus rezultatus

Versija vertinama pagal tai, ką ji iš tikrųjų pranešė, po vieną radinį ir kiek tai kainavo.

Paskelbta sprendimu

Versijos paskelbimas yra aiškus veiksmas, atliktas po etalono, ir niekada nėra naujo kodo diegimo pasekmė.

Mūsų ekspertai su produktu

Mūsų ekspertai kartu su jūsų komanda sukuria pirmuosius duomenų rinkinius, apmoko žmones, kurie juos saugos, ir perduoda jiems praktiką.

Išmatuokite darbo eigą prieš ja pasitikėdami

Pasakykite mums, kurią darbo eigą dažniausiai keičiate, ir mes parodysime, kaip atrodo jos etalonas.

Susitikite su ekspertu