Nazaj na ploščad

Benchmarki in regresijsko testiranje workflowov

Spremenite potek dela samo, ko še vedno najde tisto, kar je našel prej.

Noether je merilo uspešnosti in regresijsko testiranje za poteke dela AI. Vsaka različica delovnega toka deluje proti referenčnim nizom podatkov, katerih odgovori so znani, kandidat pa se primerja z različico v produkciji, preden se kdo zanese nanj.

Benchmarki in regresijsko testiranje workflowov

Dokaže, da nova različica workflowa še vedno najde to, kar je našla prejšnja, preden se nanjo kdorkoli zanese.

Benchmarki in regresijsko testiranje za AI workflowe. Vsaka različica workflowa se izvede na referenčnih podatkovnih naborih z znanimi odgovori in je ocenjena po tem, kaj najde, kaj spregleda in koliko stane. Kandidatna različica se pred objavo primerja z različico v produkciji, zato se sprememba, ki izgubi kakšno najdbo, ujame, preden je izdana. Najprej so na vrsti workflowi: enaki podatkovni nabori in benchmarki bodo nato zgrajeni še za agente in za modele.

Workflow se spremeni le, ko meritve pokažejo, da še vedno najde to, kar je našel prej.

Zmogljivosti

Kaj meri Noether in kako

Potek dela AI se pogosto spreminja: nov prompt, nov model, nov korak. Noether odgovori na eno vprašanje, preden gre vsaka sprememba v proizvodnjo: ali še vedno najde tisto, kar je našel prej?

Referenčne zbirke podatkov z znanimi odgovori

Vsak nabor podatkov je majhna aplikacija, v katero so vstavljene težave. Vsebuje natančen seznam tega, o čem mora potek dela poročati, in težav, ki so samo videti resnične, o katerih pa ne sme poročati, tako da se rezultat preveri glede na odgovor in ne presoja na podlagi mnenja.

Nabori podatkov, ki se spreminjajo kot koda

Nabor podatkov se spreminja s pregledano spremembo, kot je koda. Vsaka ocena poimenuje različico nabora podatkov in različico delovnega toka, iz katerega izvira, tako da se dve izvedbi primerjata na isti podlagi.

Vsaka različica na istih naborih podatkov

Vsaka različica delovnega toka se izvaja na istih naborih podatkov v izoliranih okoljih in se ocenjuje na podlagi svojih neobdelanih rezultatov: kaj je našla, kaj je zamudila in kaj je sporočila, česar ni.

Kandidat proti različici v proizvodnji

Pred objavo nove različice se primerja z različico v izdelavi: ugotovitve, ki jih obdrži, tiste, ki jih izgubi, in tiste, ki jih pridobi, drugo ob drugi.

Koliko stane vsak primerjalni preizkus

Vsako primerjalno testiranje navaja, koliko stane, tako da je različica, ki najde enako po nižji ceni ali več po višji, izbira s številkami v roki.

Ločeno od vaših strank

Primerjalno testiranje je ločeno od dela, ki ga vidijo vaše stranke. Preizkušena različica za njih ne spremeni ničesar, dokler se nekdo ne odloči za objavo.

Kako deluje

Od nabora podatkov do objavljene različice

Štirje koraki. Zadnja je odločitev, ki jo sprejme oseba, nikoli stranski učinek namestitve nove kode.

  1. Zapišite, kaj je treba najti

    Nabor podatkov vsebuje majhno aplikacijo z zastavljenimi težavami, seznam ugotovitev, ki jih mora sporočiti potek dela, in težave, ki so samo videti resnične, o katerih pa ne sme poročati.

  2. Zaženite vsako različico na istih naborih podatkov

    Različica v izdelavi in kandidat delujeta na istih naborih podatkov, vsaka v izoliranem okolju, in oba se ocenjujeta na podlagi neobdelanih rezultatov.

  3. Primerjaj to dvoje

    Shranjene, izgubljene in pridobljene ugotovitve ter stroški vsake vožnje. Sprememba, ki izgubi ugotovitev, se prikaže tukaj, preden gre v proizvodnjo.

  4. Objava s sklepom

    Verzija je objavljena šele, ko se nekdo odloči za objavo, s primerjavo pred seboj.

Različica, ki ni bila objavljena, ne doseže nobene stranke, ne glede na to, kolikokrat je bila zagnana.

Zgrajen za

Ustvarjen za ljudi, ki spreminjajo potek dela in odgovarjajo za njegove rezultate

Inženiring

Ekipe, ki gradijo poteke dela AI

Spremenite prompt, model ali korak in pred začetkom proizvodnje veste, kaj je sprememba pridobila in kaj izgubila.

Kakovost

Ljudje, ki odobrijo novo različico

Za novo različico se odločite na podlagi primerjave z znanimi odgovori, ne na podlagi demonstracije primerov, v katerih se zgodi, da so pravilni.

Vodenje

Tisti, ki odgovarjajo za rezultate

Ko stranka vpraša, ali nova različica še vedno najde tisto, kar je našla stara, je odgovor meritev, ki že obstaja.

Zakaj Noether

Zakaj Noether?

Poimenovana po Emmy Noether, matematiki, katere izrek iz leta 1918 povezuje vsako simetrijo fizičnega sistema s količino, ki jo sistem ohranja. Regresijski test postavlja enako vprašanje programski opremi: ko se potek dela spremeni, kaj mora ostati enako?

Delovni tokovi so na prvem mestu, saj se ti najpogosteje spreminjajo in tam izgubljena najdba stane največ.

Isti nabori podatkov in primerjalna merila so nato zgrajeni za agente in modele: nabori podatkov in merila uspešnosti vseh vrst, kjer koli mora sprememba dokazati, da je ohranila tisto, kar je bilo pomembno.

Kar mora ostati isto, zapisano

Ugotovitve, ki jih mora ohraniti potek dela, so navedene v naboru podatkov, tako da se sprememba meri glede nanje in ne glede na spomin, kako se je nekoč obnašal.

Merjeno na neobdelanih rezultatih

Različica se ocenjuje glede na to, kaj je dejansko poročala, eno ugotovitev naenkrat, in glede na to, koliko je to stalo.

Objavljeno s sklepom

Objava različice je eksplicitno dejanje, izvedeno po primerjalnem preizkusu in nikoli posledica namestitve nove kode.

Naši strokovnjaki z izdelkom

Naši strokovnjaki z vašo ekipo sestavijo prve nabore podatkov, usposobijo ljudi, ki jih bodo hranili, in jim predajo prakso.

Izmerite potek dela, preden se zanesete nanj

Povejte nam, kateri potek dela najpogosteje spreminjate, in pokazali vam bomo, kako je videti njegovo merilo.

Spoznajte strokovnjaka