Csak akkor módosítsa a munkafolyamatot, ha az továbbra is megtalálja azt, amit korábban talált.
Az Noether benchmarkok és regressziós tesztek a mesterséges intelligencia munkafolyamataihoz. A munkafolyamat minden verziója olyan referenciaadatkészleteken fut, amelyek válaszai ismertek, és a jelöltet összehasonlítja az éles verzióval, mielőtt bárki ráhagyatkozna.
Bizonyítja, hogy egy workflow új verziója még mindig megtalálja azt, amit az előző megtalált, mielőtt bárki támaszkodna rá.
Benchmarkok és regressziós tesztelés AI-workflow-khoz. Egy workflow minden verziója ismert válaszokat tartalmazó referencia-adatkészleteken fut, és aszerint kap pontszámot, hogy mit talál meg, mit hagy ki és mennyibe kerül. A jelölt verziót közzététel előtt összevetik az éles üzemben lévő verzióval, így az a változás, amely miatt elveszik egy találat, fennakad, mielőtt kikerülne. Elsőként a workflow-k jönnek: ezt követően ugyanezek az adatkészletek és benchmarkok ágensekhez és modellekhez is elkészülnek.
Egy workflow csak akkor változik, ha a mérések azt mutatják, hogy továbbra is megtalálja azt, amit korábban megtalált.
Képességek
Mit és hogyan mér az Noether
Egy mesterséges intelligencia munkafolyamat gyakran változik: új prompt, új modell, új lépés. Az Noether egy kérdésre válaszol minden változtatás gyártásba lépése előtt: vajon megtalálja-e még azt, amit korábban?
Hivatkozási adatkészletek ismert válaszokkal
Minden adatkészlet egy kis alkalmazás, amelyben problémák vannak elhelyezve. Tartalmazza a pontos listát arról, hogy egy munkafolyamatnak mit kell jelentenie, és azokat a problémákat, amelyek csak látszólag valóságosak, és amelyeket nem szabad jelentenie, így az eredményt inkább a válaszhoz hasonlítják, mintsem vélemény alapján.
Adatkészletek, amelyek kódszerűen változnak
Az adatkészlet megváltozik egy felülvizsgált módosítással, például kóddal. Minden pontszám megnevezi az adatkészlet verzióját és a munkafolyamat verzióját, amelyből származott, így a rendszer két futtatást hasonlít össze ugyanazon a földön.
Minden verzió ugyanazon az adatkészleten
A munkafolyamatok mindegyik verziója ugyanazokon az adatkészleteken fut, elszigetelt környezetekben, és a nyers eredmények alapján pontozzák: mit talált, mit hagyott ki, és mit jelentett, ami nincs.
Egy jelölt az éles verzió ellen
Az új verzió megjelenése előtt összehasonlítják a gyártásban lévő verzióval: egymás mellett a megőrzött, elvesztett és nyert leleteket.
Mennyibe kerülnek az egyes benchmark futtatások
Minden benchmark futtatás megadja, hogy mennyibe kerül, így az alacsonyabb áron, vagy magasabb áron többet találó verzió a számok alapján történik.
Elkülönülve az ügyfelektől
A benchmark futtatása elkülönül az ügyfelek által látott munkától. Egy tesztelés alatt álló verzió semmit sem változtat a számukra, amíg valaki úgy nem dönt, hogy közzéteszi.
Hogyan működik
Adatkészlettől a publikált verzióig
Négy lépés. Az utolsó egy személy döntése, amely soha nem mellékhatása az új kód telepítésének.
01
Írd le mit kell találnod
Az adatkészlet egy kis alkalmazást tartalmaz elhelyezett problémákkal, azon megállapítások listáját, amelyeket a munkafolyamatnak jelentenie kell, valamint azokat a problémákat, amelyek csak látszanak, és nem jelentheti be.
02
Futtassa az egyes verziókat ugyanazon az adatkészleten
Az éles verzió és a jelölt ugyanazon az adatkészleten fut, mindegyik elszigetelt környezetben, és mindkettőt a nyers eredmények alapján pontozzák.
03
Hasonlítsa össze a kettőt
Megőrzött, elveszett és szerzett leletek, valamint az egyes futások költségei. Az a változás, amely elveszíti a megállapítást, itt jelenik meg, mielőtt gyártásba kerül.
04
Közzététel határozattal
A verzió csak akkor jelenik meg, ha valaki úgy dönt, hogy közzéteszi, az összehasonlítással.
A még nem publikált verzió egyetlen ügyfélhez sem jut el, akárhányszor futott is.
számára készült
Azoknak az embereknek készült, akik megváltoztatják a munkafolyamatot, és felelnek annak eredményeiért
Mérnöki
AI munkafolyamatokat építő csapatok
Változtassa meg az prompt-et, egy modellt vagy egy lépést, és ismerje meg, mielőtt a gyártásba kerül, mit nyert a változás és mit veszített.
Minőség
Azok, akik jóváhagyják az új verziót
Döntse el az új verziót az ismert válaszokkal való összehasonlítás alapján, ne pedig az esetek bemutatása alapján, amelyekből kiderül.
Vezetés
Akik felelnek az eredményekért
Amikor egy ügyfél megkérdezi, hogy az új verzió még mindig megtalálja-e azt, amit a régi, a válasz egy már létező mérés.
Miért az Noether
Miért az Noether?
Emmy Noether után nevezték el, a matematikusról, akinek 1918-as tétele egy fizikai rendszer minden szimmetriáját a rendszer által megőrzött mennyiséghez köti. A regressziós teszt ugyanazt a kérdést teszi fel, mint a szoftver: ha a munkafolyamat megváltozik, minek kell változatlannak maradnia?
A munkafolyamatok állnak az első helyen, mert ezek változnak a leggyakrabban, és egy elveszett lelet itt kerül a legtöbbbe.
Ugyanazok az adatkészletek és benchmarkok készülnek az ügynökök és modellek számára is: mindenféle adatkészlet és benchmark, ahol egy változásnak bizonyítania kell, hogy megtartotta azt, ami számít.
Aminek változatlannak kell maradnia, azt le kell írni
A munkafolyamatnak megőrizendő megállapítások az adatkészletben vannak felsorolva, így a változást a rendszer azokhoz viszonyítva méri, nem pedig a korábbi viselkedésének emlékéhez.
Nyers eredményeken mérve
A verziót aszerint pontozzák, hogy valójában mit jelentett, egy-egy leletet, és azt, hogy ez mennyibe került.
határozattal közzétéve
A verzió közzététele a benchmark utáni kifejezett cselekedet, és soha nem az új kód telepítésének következménye.
Szakértőink a termékkel
Szakértőink az Ön csapatával együtt elkészítik az első adatkészleteket, kiképezik azokat az embereket, akik megőrzik azokat, és átadják nekik a gyakorlatot.
Mérje meg a munkafolyamatot, mielőtt támaszkodna rá
Mondja el, melyik munkafolyamatot változtatja meg leggyakrabban, és megmutatjuk, hogyan néz ki egy etalon.