Vissza a platformra

Workflow-benchmarkok és regressziós tesztelés

Csak akkor módosítsa a munkafolyamatot, ha az továbbra is megtalálja azt, amit korábban talált.

Az Noether benchmarkok és regressziós tesztek a mesterséges intelligencia munkafolyamataihoz. A munkafolyamat minden verziója olyan referenciaadatkészleteken fut, amelyek válaszai ismertek, és a jelöltet összehasonlítja az éles verzióval, mielőtt bárki ráhagyatkozna.

Workflow-benchmarkok és regressziós tesztelés

Bizonyítja, hogy egy workflow új verziója még mindig megtalálja azt, amit az előző megtalált, mielőtt bárki támaszkodna rá.

Benchmarkok és regressziós tesztelés AI-workflow-khoz. Egy workflow minden verziója ismert válaszokat tartalmazó referencia-adatkészleteken fut, és aszerint kap pontszámot, hogy mit talál meg, mit hagy ki és mennyibe kerül. A jelölt verziót közzététel előtt összevetik az éles üzemben lévő verzióval, így az a változás, amely miatt elveszik egy találat, fennakad, mielőtt kikerülne. Elsőként a workflow-k jönnek: ezt követően ugyanezek az adatkészletek és benchmarkok ágensekhez és modellekhez is elkészülnek.

Egy workflow csak akkor változik, ha a mérések azt mutatják, hogy továbbra is megtalálja azt, amit korábban megtalált.

Képességek

Mit és hogyan mér az Noether

Egy mesterséges intelligencia munkafolyamat gyakran változik: új prompt, új modell, új lépés. Az Noether egy kérdésre válaszol minden változtatás gyártásba lépése előtt: vajon megtalálja-e még azt, amit korábban?

Hivatkozási adatkészletek ismert válaszokkal

Minden adatkészlet egy kis alkalmazás, amelyben problémák vannak elhelyezve. Tartalmazza a pontos listát arról, hogy egy munkafolyamatnak mit kell jelentenie, és azokat a problémákat, amelyek csak látszólag valóságosak, és amelyeket nem szabad jelentenie, így az eredményt inkább a válaszhoz hasonlítják, mintsem vélemény alapján.

Adatkészletek, amelyek kódszerűen változnak

Az adatkészlet megváltozik egy felülvizsgált módosítással, például kóddal. Minden pontszám megnevezi az adatkészlet verzióját és a munkafolyamat verzióját, amelyből származott, így a rendszer két futtatást hasonlít össze ugyanazon a földön.

Minden verzió ugyanazon az adatkészleten

A munkafolyamatok mindegyik verziója ugyanazokon az adatkészleteken fut, elszigetelt környezetekben, és a nyers eredmények alapján pontozzák: mit talált, mit hagyott ki, és mit jelentett, ami nincs.

Egy jelölt az éles verzió ellen

Az új verzió megjelenése előtt összehasonlítják a gyártásban lévő verzióval: egymás mellett a megőrzött, elvesztett és nyert leleteket.

Mennyibe kerülnek az egyes benchmark futtatások

Minden benchmark futtatás megadja, hogy mennyibe kerül, így az alacsonyabb áron, vagy magasabb áron többet találó verzió a számok alapján történik.

Elkülönülve az ügyfelektől

A benchmark futtatása elkülönül az ügyfelek által látott munkától. Egy tesztelés alatt álló verzió semmit sem változtat a számukra, amíg valaki úgy nem dönt, hogy közzéteszi.

Hogyan működik

Adatkészlettől a publikált verzióig

Négy lépés. Az utolsó egy személy döntése, amely soha nem mellékhatása az új kód telepítésének.

  1. Írd le mit kell találnod

    Az adatkészlet egy kis alkalmazást tartalmaz elhelyezett problémákkal, azon megállapítások listáját, amelyeket a munkafolyamatnak jelentenie kell, valamint azokat a problémákat, amelyek csak látszanak, és nem jelentheti be.

  2. Futtassa az egyes verziókat ugyanazon az adatkészleten

    Az éles verzió és a jelölt ugyanazon az adatkészleten fut, mindegyik elszigetelt környezetben, és mindkettőt a nyers eredmények alapján pontozzák.

  3. Hasonlítsa össze a kettőt

    Megőrzött, elveszett és szerzett leletek, valamint az egyes futások költségei. Az a változás, amely elveszíti a megállapítást, itt jelenik meg, mielőtt gyártásba kerül.

  4. Közzététel határozattal

    A verzió csak akkor jelenik meg, ha valaki úgy dönt, hogy közzéteszi, az összehasonlítással.

A még nem publikált verzió egyetlen ügyfélhez sem jut el, akárhányszor futott is.

számára készült

Azoknak az embereknek készült, akik megváltoztatják a munkafolyamatot, és felelnek annak eredményeiért

Mérnöki

AI munkafolyamatokat építő csapatok

Változtassa meg az prompt-et, egy modellt vagy egy lépést, és ismerje meg, mielőtt a gyártásba kerül, mit nyert a változás és mit veszített.

Minőség

Azok, akik jóváhagyják az új verziót

Döntse el az új verziót az ismert válaszokkal való összehasonlítás alapján, ne pedig az esetek bemutatása alapján, amelyekből kiderül.

Vezetés

Akik felelnek az eredményekért

Amikor egy ügyfél megkérdezi, hogy az új verzió még mindig megtalálja-e azt, amit a régi, a válasz egy már létező mérés.

Miért az Noether

Miért az Noether?

Emmy Noether után nevezték el, a matematikusról, akinek 1918-as tétele egy fizikai rendszer minden szimmetriáját a rendszer által megőrzött mennyiséghez köti. A regressziós teszt ugyanazt a kérdést teszi fel, mint a szoftver: ha a munkafolyamat megváltozik, minek kell változatlannak maradnia?

A munkafolyamatok állnak az első helyen, mert ezek változnak a leggyakrabban, és egy elveszett lelet itt kerül a legtöbbbe.

Ugyanazok az adatkészletek és benchmarkok készülnek az ügynökök és modellek számára is: mindenféle adatkészlet és benchmark, ahol egy változásnak bizonyítania kell, hogy megtartotta azt, ami számít.

Aminek változatlannak kell maradnia, azt le kell írni

A munkafolyamatnak megőrizendő megállapítások az adatkészletben vannak felsorolva, így a változást a rendszer azokhoz viszonyítva méri, nem pedig a korábbi viselkedésének emlékéhez.

Nyers eredményeken mérve

A verziót aszerint pontozzák, hogy valójában mit jelentett, egy-egy leletet, és azt, hogy ez mennyibe került.

határozattal közzétéve

A verzió közzététele a benchmark utáni kifejezett cselekedet, és soha nem az új kód telepítésének következménye.

Szakértőink a termékkel

Szakértőink az Ön csapatával együtt elkészítik az első adatkészleteket, kiképezik azokat az embereket, akik megőrzik azokat, és átadják nekik a gyakorlatot.

Mérje meg a munkafolyamatot, mielőtt támaszkodna rá

Mondja el, melyik munkafolyamatot változtatja meg leggyakrabban, és megmutatjuk, hogyan néz ki egy etalon.

Találkozzon egy szakértővel