Обратно към платформата

Бенчмаркове и регресионни тестове за workflow

Променете работен процес само когато той все още намира това, което е намерил преди.

Noether е бенчмарк и регресионно тестване за работни потоци на AI. Всяка версия на работен поток работи срещу референтни набори от данни, чиито отговори са известни, и кандидатът се сравнява с версията в производството, преди някой да разчита на него.

Бенчмаркове и регресионни тестове за workflow

Доказва, че нова версия на даден workflow все още намира това, което е намирала предишната, преди някой да разчита на нея.

Бенчмаркове и регресионно тестване за AI workflow. Всяка версия на даден workflow се изпълнява срещу референтни набори от данни с известни отговори и се оценява според това, какво намира, какво пропуска и колко струва. Кандидат-версията се сравнява с версията в продукционна среда, преди да бъде публикувана, така че промяна, при която се губи находка, се улавя, преди да излезе. На първо място са workflow: след тях същите набори от данни и бенчмаркове се изграждат за агенти и за модели.

Workflow се променя само когато измерванията показват, че все още намира онова, което е намирал преди.

Възможности

Какво измерва Noether и как

Работният процес на AI се променя често: нов prompt, нов модел, нова стъпка. Noether отговаря на един въпрос, преди всяка промяна да влезе в производство: все още ли намира това, което е открило преди?

Референтни набори от данни с известни отговори

Всеки набор от данни е малко приложение с поставени проблеми. Той съдържа точния списък на това, което работният процес трябва да докладва, и на проблемите, които само изглеждат реални, които не трябва да докладва, така че резултатът се сравнява с отговор, а не се преценява по мнение.

Набори от данни, които се променят като код

Набор от данни се променя чрез прегледана промяна, като код. Всеки резултат назовава версията на набора от данни и версията на работния поток, от който идва, така че две серии се сравняват на една и съща основа.

Всяка версия на едни и същи набори от данни

Всяка версия на работен поток работи на едни и същи набори от данни, в изолирани среди и се оценява на базата на своите необработени резултати: какво е намерила, какво е пропуснала и какво е съобщила, че не е там.

Кандидат срещу версията в производство

Преди да бъде публикувана нова версия, тя се сравнява с версията в производство: констатациите, които запазва, тези, които губи и тези, които печели, едно до друго.

Колко струва всеки бенчмарк

Всеки сравнителен тест посочва колко струва, така че версия, която намира същото на по-ниска цена или повече на по-висока, е избор, направен с числата в ръка.

Пазете се от клиентите си

Еталонният тест се отделя от работата, която виждат вашите клиенти. Тестваната версия не променя нищо за тях, докато някой не реши да я публикува.

Как работи

От набор от данни до публикувана версия

Четири стъпки. Последното е решение, взето от човек, никога страничен ефект от инсталирането на нов код.

  1. Запишете какво трябва да се намери

    Наборът от данни съдържа малко приложение с установени проблеми, списък с констатации, които работният поток трябва да докладва, и проблеми, които само изглеждат реални, но не трябва да докладва.

  2. Стартирайте всяка версия на едни и същи набори от данни

    Версията в производство и кандидатът се изпълняват на едни и същи набори от данни, всеки в изолирана среда, и двете се оценяват на техните необработени резултати.

  3. Сравнете двете

    Запазени, изгубени и придобити констатации, както и цената на всеки цикъл. Промяна, която губи находка, се показва тук, преди да влезе в производство.

  4. Публикува се по решение

    Една версия се публикува само когато някой реши да я публикува, със сравнението пред себе си.

Версия, която не е публикувана, не достига до клиенти, колкото и пъти да е стартирана.

Създаден за

Създаден за хората, които променят работния процес и отговарят за неговите резултати

Инженерство

Екипи, които изграждат AI работни процеси

Променете prompt, модел или стъпка и разберете, преди да влезе в производство, какво е спечелила и какво е загубила промяната.

качество

Хората, които одобряват нова версия

Вземете решение за нова версия от сравнение с известни отговори, а не от демонстрация на случаите, в които се оказва правилно.

Лидерство

Тези, които отговарят за резултатите

Когато клиент попита дали новата версия все още намира това, което е намерила старата, отговорът е измерване, което вече съществува.

Защо Noether

Защо Noether?

Наречен на Еми Noether, математикът, чиято теорема от 1918 г. свързва всяка симетрия на физическа система с количество, което системата запазва. Регресионният тест задава същия въпрос на софтуера: когато работният процес се промени, какво трябва да остане същото?

Работните процеси са на първо място, защото те се променят най-често и там една изгубена находка струва най-скъпо.

След това се създават едни и същи набори от данни и бенчмаркове за агенти и за модели: набори от данни и бенчмаркове от всякакъв вид, където промяната трябва да докаже, че е запазила това, което има значение.

Това, което трябва да остане същото, записано

Констатациите, които работният процес трябва да запази, са изброени в набора от данни, така че промяната се измерва спрямо тях, а не спрямо спомен за това как се е държал преди.

Измерено върху сурови резултати

Версията се оценява според това, което действително е докладвала, една констатация в даден момент и каква е цената.

Публикувано с решение

Публикуването на версия е изрично действие, предприето след бенчмарка и никога следствие от инсталирането на нов код.

Нашите експерти с продукта

Нашите експерти изграждат първите набори от данни с вашия екип, обучават хората, които ще ги пазят, и им предават практиката.

Измерете работен процес, преди да разчитате на него

Кажете ни кой работен процес променяте най-често и ние ще ви покажем как изглежда бенчмарк за него.

Запознайте се с експерт