Muuta työnkulkua vain, kun se löytää edelleen sen, mitä se löysi aiemmin.
Noether on tekoälyn työnkulkujen vertailuarvot ja regressiotestaus. Jokainen työnkulun versio suoritetaan viitetietojoukkojen kanssa, joiden vastaukset ovat tiedossa, ja ehdokasta verrataan tuotannossa olevaan versioon ennen kuin kukaan luottaa siihen.
Osoittaa, että työnkulun uusi versio löytää yhä sen, minkä edellinen löysi, ennen kuin kukaan luottaa siihen.
Benchmarkit ja regressiotestaus AI-työnkuluille. Työnkulun jokainen versio ajetaan referenssiaineistoilla, joiden vastaukset tunnetaan, ja se pisteytetään sen mukaan, mitä se löytää, mitä siltä jää huomaamatta ja mitä se maksaa. Ehdokasversiota verrataan ennen julkaisua tuotannossa olevaan versioon, joten muutos, jonka myötä jokin löydös katoaa, jää kiinni ennen kuin se toimitetaan. Työnkulut tulevat ensin: seuraavaksi samat aineistot ja benchmarkit rakennetaan agenteille ja malleille.
Työnkulku muuttuu vain, kun mittaukset osoittavat sen löytävän yhä sen, minkä se löysi aiemmin.
Ominaisuudet
Mitä Noether mittaa ja miten
Tekoälytyönkulkua muutetaan usein: uusi prompt, uusi malli, uusi askel. Noether vastaa yhteen kysymykseen ennen jokaisen muutoksen käyttöönottoa: löytääkö se edelleen sen, mitä se löysi aiemmin?
Viitetietojoukot, joissa on tiedossa olevat vastaukset
Jokainen tietojoukko on pieni sovellus, johon on istutettu ongelmia. Se sisältää tarkan luettelon siitä, mitä työnkulun on raportoitava, ja ongelmista, jotka vain näyttävät todellisilta, mutta joita se ei saa raportoida, joten tulos verrataan vastaukseen sen sijaan, että sitä arvioidaan mielipiteen perusteella.
Tietojoukot, jotka muuttuvat kuten koodi
Tietojoukko muuttuu tarkistetun muutoksen, kuten koodin, seurauksena. Jokainen pistemäärä nimeää tietojoukon version ja sen työnkulun version, josta se tuli, joten kahta ajoa verrataan samalla pohjalla.
Jokainen versio samoista tietojoukoista
Jokainen työnkulun versio toimii samoissa tietojoukoissa eristetyissä ympäristöissä, ja se pisteytetään sen raakatulosten perusteella: mitä se löysi, mitä se jätti huomiotta ja mitä se ilmoitti, ettei siellä ole.
Ehdokas tuotannossa olevaa versiota vastaan
Ennen kuin uusi versio julkaistaan, sitä verrataan tuotannossa olevaan versioon: sen säilyttämät löydöt, menetetyt ja saamat havainnot rinnakkain.
Mitä kukin benchmark-ajo maksaa
Jokainen benchmark-ajo ilmoittaa, mitä se maksaa, joten versio, joka löytää saman alhaisemmalla hinnalla tai enemmän korkeammalla, on valinta, joka tehdään numeroiden avulla.
Pysyi erillään asiakkaistasi
Vertailuajo pidetään erillään asiakkaidesi näkemästä työstä. Testattava versio ei muuta heidän kohdallaan mitään ennen kuin joku päättää julkaista sen.
Miten se toimii
Tietojoukosta julkaistuun versioon
Neljä askelta. Viimeinen on henkilön tekemä päätös, ei koskaan uuden koodin asentamisen sivuvaikutus.
01
Kirjoita ylös, mitä pitää löytää
Tietojoukko sisältää pienen sovelluksen, jossa on istutettuja ongelmia, luettelon havainnoista, jotka työnkulun on raportoitava, ja ongelmat, jotka näyttävät vain todellisilta, joita se ei saa raportoida.
02
Suorita jokainen versio samoissa tietojoukoissa
Tuotannossa oleva versio ja ehdokas ajetaan samoissa tietojoukoissa, kumpikin eristetyssä ympäristössä, ja molemmat pisteytetään raakatulostensa perusteella.
03
Vertaa näitä kahta
Säilytetyt, kadonneet ja saadut löydöt sekä kunkin ajon kustannukset. Muutos, joka menettää löydön, näkyy täällä, ennen kuin se menee tuotantoon.
04
Julkaise päätöksellä
Versio julkaistaan vasta, kun joku päättää julkaista sen, vertailu edessä.
Versio, jota ei ole julkaistu, ei tavoita asiakasta, vaikka se on ajettu monta kertaa.
Rakennettu varten
Suunniteltu ihmisille, jotka muuttavat työnkulkua ja vastaavat sen tuloksista
Tekniikka
Tiimit, jotka rakentavat tekoälyn työnkulkuja
Vaihda prompt, mallia tai askelta ja tiedä ennen kuin se tulee tuotantoon, mitä muutos saavutti ja mitä se menetti.
Laatu
Ihmiset, jotka hyväksyvät uuden version
Päätä uusi versio vertaamalla tunnettuja vastauksia, älä esittele tapauksia, joissa se sattuu olemaan oikein.
Johtajuus
Ne, jotka vastaavat tuloksista
Kun asiakas kysyy, löytääkö uusi versio edelleen vanhan löytämän, vastaus on jo olemassa oleva mitta.
Miksi Noether
Miksi Noether?
Nimetty Emmy Noether mukaan, matemaatikko, jonka vuoden 1918 lause sitoo fyysisen järjestelmän jokaisen symmetrian suureen, jonka järjestelmä säilyttää. Regressiotesti kysyy samanlaisen kysymyksen ohjelmistolle: kun työnkulku muuttuu, minkä pitää pysyä samana?
Työnkulut ovat etusijalla, koska ne muuttuvat useimmin ja kadonnut löytö maksaa siellä eniten.
Samat tietojoukot ja vertailuarvot rakennetaan seuraavaksi agenteille ja malleille: kaikenlaisia tietojoukkoja ja vertailuarvoja, missä tahansa muutoksen on todistettava, että se piti merkityksellisen.
Minkä pitää pysyä samana, kirjoitettuna
Havainnot, jotka työnkulun on säilytettävä, luetellaan tietojoukossa, joten muutosta mitataan niiden perusteella eikä muistiin sen mukaan, miten se aiemmin käyttäytyi.
Raakatuloksilla mitattuna
Versio pisteytetään sen mukaan, mitä se todella raportoi, yksi löydös kerrallaan ja sen mukaan, mitä se maksoi.
Julkaistu päätöksellä
Version julkaiseminen on nimenomainen toimenpide vertailuarvon jälkeen, eikä se ole koskaan seurausta uuden koodin asentamisesta.
Asiantuntijamme tuotteen kanssa
Asiantuntijamme rakentavat ensimmäiset tietojoukot tiimisi kanssa, kouluttavat niitä pitävät ihmiset ja luovuttavat käytännön heille.
Mittaa työnkulku ennen kuin luotat siihen
Kerro meille, mitä työnkulkua muutat useimmin, niin näytämme sinulle, miltä sen vertailukohta näyttää.