Променете работен процес само когато той все още намира това, което е намерил преди.
Noether е бенчмарк и регресионно тестване за работни потоци на AI. Всяка версия на работен поток работи срещу референтни набори от данни, чиито отговори са известни, и кандидатът се сравнява с версията в производството, преди някой да разчита на него.
Доказва, че нова версия на даден workflow все още намира това, което е намирала предишната, преди някой да разчита на нея.
Бенчмаркове и регресионно тестване за AI workflow. Всяка версия на даден workflow се изпълнява срещу референтни набори от данни с известни отговори и се оценява според това, какво намира, какво пропуска и колко струва. Кандидат-версията се сравнява с версията в продукционна среда, преди да бъде публикувана, така че промяна, при която се губи находка, се улавя, преди да излезе. На първо място са workflow: след тях същите набори от данни и бенчмаркове се изграждат за агенти и за модели.
Workflow се променя само когато измерванията показват, че все още намира онова, което е намирал преди.
Възможности
Какво измерва Noether и как
Работният процес на AI се променя често: нов prompt, нов модел, нова стъпка. Noether отговаря на един въпрос, преди всяка промяна да влезе в производство: все още ли намира това, което е открило преди?
Референтни набори от данни с известни отговори
Всеки набор от данни е малко приложение с поставени проблеми. Той съдържа точния списък на това, което работният процес трябва да докладва, и на проблемите, които само изглеждат реални, които не трябва да докладва, така че резултатът се сравнява с отговор, а не се преценява по мнение.
Набори от данни, които се променят като код
Набор от данни се променя чрез прегледана промяна, като код. Всеки резултат назовава версията на набора от данни и версията на работния поток, от който идва, така че две серии се сравняват на една и съща основа.
Всяка версия на едни и същи набори от данни
Всяка версия на работен поток работи на едни и същи набори от данни, в изолирани среди и се оценява на базата на своите необработени резултати: какво е намерила, какво е пропуснала и какво е съобщила, че не е там.
Кандидат срещу версията в производство
Преди да бъде публикувана нова версия, тя се сравнява с версията в производство: констатациите, които запазва, тези, които губи и тези, които печели, едно до друго.
Колко струва всеки бенчмарк
Всеки сравнителен тест посочва колко струва, така че версия, която намира същото на по-ниска цена или повече на по-висока, е избор, направен с числата в ръка.
Пазете се от клиентите си
Еталонният тест се отделя от работата, която виждат вашите клиенти. Тестваната версия не променя нищо за тях, докато някой не реши да я публикува.
Как работи
От набор от данни до публикувана версия
Четири стъпки. Последното е решение, взето от човек, никога страничен ефект от инсталирането на нов код.
01
Запишете какво трябва да се намери
Наборът от данни съдържа малко приложение с установени проблеми, списък с констатации, които работният поток трябва да докладва, и проблеми, които само изглеждат реални, но не трябва да докладва.
02
Стартирайте всяка версия на едни и същи набори от данни
Версията в производство и кандидатът се изпълняват на едни и същи набори от данни, всеки в изолирана среда, и двете се оценяват на техните необработени резултати.
03
Сравнете двете
Запазени, изгубени и придобити констатации, както и цената на всеки цикъл. Промяна, която губи находка, се показва тук, преди да влезе в производство.
04
Публикува се по решение
Една версия се публикува само когато някой реши да я публикува, със сравнението пред себе си.
Версия, която не е публикувана, не достига до клиенти, колкото и пъти да е стартирана.
Създаден за
Създаден за хората, които променят работния процес и отговарят за неговите резултати
Инженерство
Екипи, които изграждат AI работни процеси
Променете prompt, модел или стъпка и разберете, преди да влезе в производство, какво е спечелила и какво е загубила промяната.
качество
Хората, които одобряват нова версия
Вземете решение за нова версия от сравнение с известни отговори, а не от демонстрация на случаите, в които се оказва правилно.
Лидерство
Тези, които отговарят за резултатите
Когато клиент попита дали новата версия все още намира това, което е намерила старата, отговорът е измерване, което вече съществува.
Защо Noether
Защо Noether?
Наречен на Еми Noether, математикът, чиято теорема от 1918 г. свързва всяка симетрия на физическа система с количество, което системата запазва. Регресионният тест задава същия въпрос на софтуера: когато работният процес се промени, какво трябва да остане същото?
Работните процеси са на първо място, защото те се променят най-често и там една изгубена находка струва най-скъпо.
След това се създават едни и същи набори от данни и бенчмаркове за агенти и за модели: набори от данни и бенчмаркове от всякакъв вид, където промяната трябва да докаже, че е запазила това, което има значение.
Това, което трябва да остане същото, записано
Констатациите, които работният процес трябва да запази, са изброени в набора от данни, така че промяната се измерва спрямо тях, а не спрямо спомен за това как се е държал преди.
Измерено върху сурови резултати
Версията се оценява според това, което действително е докладвала, една констатация в даден момент и каква е цената.
Публикувано с решение
Публикуването на версия е изрично действие, предприето след бенчмарка и никога следствие от инсталирането на нов код.
Нашите експерти с продукта
Нашите експерти изграждат първите набори от данни с вашия екип, обучават хората, които ще ги пазят, и им предават практиката.
Измерете работен процес, преди да разчитате на него
Кажете ни кой работен процес променяте най-често и ние ще ви покажем как изглежда бенчмарк за него.