Takaisin alustalle

Työnkulkujen benchmarkit ja regressiotestaus

Muuta työnkulkua vain, kun se löytää edelleen sen, mitä se löysi aiemmin.

Noether on tekoälyn työnkulkujen vertailuarvot ja regressiotestaus. Jokainen työnkulun versio suoritetaan viitetietojoukkojen kanssa, joiden vastaukset ovat tiedossa, ja ehdokasta verrataan tuotannossa olevaan versioon ennen kuin kukaan luottaa siihen.

Työnkulkujen benchmarkit ja regressiotestaus

Osoittaa, että työnkulun uusi versio löytää yhä sen, minkä edellinen löysi, ennen kuin kukaan luottaa siihen.

Benchmarkit ja regressiotestaus AI-työnkuluille. Työnkulun jokainen versio ajetaan referenssiaineistoilla, joiden vastaukset tunnetaan, ja se pisteytetään sen mukaan, mitä se löytää, mitä siltä jää huomaamatta ja mitä se maksaa. Ehdokasversiota verrataan ennen julkaisua tuotannossa olevaan versioon, joten muutos, jonka myötä jokin löydös katoaa, jää kiinni ennen kuin se toimitetaan. Työnkulut tulevat ensin: seuraavaksi samat aineistot ja benchmarkit rakennetaan agenteille ja malleille.

Työnkulku muuttuu vain, kun mittaukset osoittavat sen löytävän yhä sen, minkä se löysi aiemmin.

Ominaisuudet

Mitä Noether mittaa ja miten

Tekoälytyönkulkua muutetaan usein: uusi prompt, uusi malli, uusi askel. Noether vastaa yhteen kysymykseen ennen jokaisen muutoksen käyttöönottoa: löytääkö se edelleen sen, mitä se löysi aiemmin?

Viitetietojoukot, joissa on tiedossa olevat vastaukset

Jokainen tietojoukko on pieni sovellus, johon on istutettu ongelmia. Se sisältää tarkan luettelon siitä, mitä työnkulun on raportoitava, ja ongelmista, jotka vain näyttävät todellisilta, mutta joita se ei saa raportoida, joten tulos verrataan vastaukseen sen sijaan, että sitä arvioidaan mielipiteen perusteella.

Tietojoukot, jotka muuttuvat kuten koodi

Tietojoukko muuttuu tarkistetun muutoksen, kuten koodin, seurauksena. Jokainen pistemäärä nimeää tietojoukon version ja sen työnkulun version, josta se tuli, joten kahta ajoa verrataan samalla pohjalla.

Jokainen versio samoista tietojoukoista

Jokainen työnkulun versio toimii samoissa tietojoukoissa eristetyissä ympäristöissä, ja se pisteytetään sen raakatulosten perusteella: mitä se löysi, mitä se jätti huomiotta ja mitä se ilmoitti, ettei siellä ole.

Ehdokas tuotannossa olevaa versiota vastaan

Ennen kuin uusi versio julkaistaan, sitä verrataan tuotannossa olevaan versioon: sen säilyttämät löydöt, menetetyt ja saamat havainnot rinnakkain.

Mitä kukin benchmark-ajo maksaa

Jokainen benchmark-ajo ilmoittaa, mitä se maksaa, joten versio, joka löytää saman alhaisemmalla hinnalla tai enemmän korkeammalla, on valinta, joka tehdään numeroiden avulla.

Pysyi erillään asiakkaistasi

Vertailuajo pidetään erillään asiakkaidesi näkemästä työstä. Testattava versio ei muuta heidän kohdallaan mitään ennen kuin joku päättää julkaista sen.

Miten se toimii

Tietojoukosta julkaistuun versioon

Neljä askelta. Viimeinen on henkilön tekemä päätös, ei koskaan uuden koodin asentamisen sivuvaikutus.

  1. Kirjoita ylös, mitä pitää löytää

    Tietojoukko sisältää pienen sovelluksen, jossa on istutettuja ongelmia, luettelon havainnoista, jotka työnkulun on raportoitava, ja ongelmat, jotka näyttävät vain todellisilta, joita se ei saa raportoida.

  2. Suorita jokainen versio samoissa tietojoukoissa

    Tuotannossa oleva versio ja ehdokas ajetaan samoissa tietojoukoissa, kumpikin eristetyssä ympäristössä, ja molemmat pisteytetään raakatulostensa perusteella.

  3. Vertaa näitä kahta

    Säilytetyt, kadonneet ja saadut löydöt sekä kunkin ajon kustannukset. Muutos, joka menettää löydön, näkyy täällä, ennen kuin se menee tuotantoon.

  4. Julkaise päätöksellä

    Versio julkaistaan vasta, kun joku päättää julkaista sen, vertailu edessä.

Versio, jota ei ole julkaistu, ei tavoita asiakasta, vaikka se on ajettu monta kertaa.

Rakennettu varten

Suunniteltu ihmisille, jotka muuttavat työnkulkua ja vastaavat sen tuloksista

Tekniikka

Tiimit, jotka rakentavat tekoälyn työnkulkuja

Vaihda prompt, mallia tai askelta ja tiedä ennen kuin se tulee tuotantoon, mitä muutos saavutti ja mitä se menetti.

Laatu

Ihmiset, jotka hyväksyvät uuden version

Päätä uusi versio vertaamalla tunnettuja vastauksia, älä esittele tapauksia, joissa se sattuu olemaan oikein.

Johtajuus

Ne, jotka vastaavat tuloksista

Kun asiakas kysyy, löytääkö uusi versio edelleen vanhan löytämän, vastaus on jo olemassa oleva mitta.

Miksi Noether

Miksi Noether?

Nimetty Emmy Noether mukaan, matemaatikko, jonka vuoden 1918 lause sitoo fyysisen järjestelmän jokaisen symmetrian suureen, jonka järjestelmä säilyttää. Regressiotesti kysyy samanlaisen kysymyksen ohjelmistolle: kun työnkulku muuttuu, minkä pitää pysyä samana?

Työnkulut ovat etusijalla, koska ne muuttuvat useimmin ja kadonnut löytö maksaa siellä eniten.

Samat tietojoukot ja vertailuarvot rakennetaan seuraavaksi agenteille ja malleille: kaikenlaisia tietojoukkoja ja vertailuarvoja, missä tahansa muutoksen on todistettava, että se piti merkityksellisen.

Minkä pitää pysyä samana, kirjoitettuna

Havainnot, jotka työnkulun on säilytettävä, luetellaan tietojoukossa, joten muutosta mitataan niiden perusteella eikä muistiin sen mukaan, miten se aiemmin käyttäytyi.

Raakatuloksilla mitattuna

Versio pisteytetään sen mukaan, mitä se todella raportoi, yksi löydös kerrallaan ja sen mukaan, mitä se maksoi.

Julkaistu päätöksellä

Version julkaiseminen on nimenomainen toimenpide vertailuarvon jälkeen, eikä se ole koskaan seurausta uuden koodin asentamisesta.

Asiantuntijamme tuotteen kanssa

Asiantuntijamme rakentavat ensimmäiset tietojoukot tiimisi kanssa, kouluttavat niitä pitävät ihmiset ja luovuttavat käytännön heille.

Mittaa työnkulku ennen kuin luotat siihen

Kerro meille, mitä työnkulkua muutat useimmin, niin näytämme sinulle, miltä sen vertailukohta näyttää.

Tapaa asiantuntija