Меняйте рабочий процесс только тогда, когда он все еще находит то, что нашел раньше.
Noether — это тесты и регрессионное тестирование рабочих процессов искусственного интеллекта. Каждая версия рабочего процесса работает с эталонными наборами данных, ответы на которые известны, и кандидат сравнивается с рабочей версией, прежде чем кто-либо на него будет полагаться.
Доказывает, что новая версия workflow по-прежнему находит то, что находила предыдущая, до того как кто-либо начнёт на неё полагаться.
Бенчмарки и регрессионное тестирование AI-workflow. Каждая версия workflow прогоняется на эталонных наборах данных с известными ответами и оценивается по тому, что она находит, что пропускает и сколько стоит. Версия-кандидат до публикации сравнивается с версией в промышленной эксплуатации, поэтому изменение, из-за которого теряется находка, выявляется до выпуска. Начинаем с workflow: следующим шагом те же наборы данных и бенчмарки строятся для агентов и для моделей.
Workflow меняется только тогда, когда измерения показывают, что он по-прежнему находит то, что находил раньше.
Возможности
Что измеряет Noether и как
Рабочий процесс ИИ часто меняется: новый prompt, новая модель, новый шаг. Noether отвечает на один вопрос перед тем, как каждое изменение попадает в производство: находит ли оно то, что находило раньше?
Справочные наборы данных с известными ответами
Каждый набор данных представляет собой небольшое приложение, в котором заложены проблемы. Он содержит точный список того, о чем должен сообщать рабочий процесс, а также проблем, которые только кажутся реальными, о которых он не должен сообщать, поэтому результат сверяется с ответом, а не оценивается по мнению.
Наборы данных, которые меняются как код
Набор данных изменяется посредством проверенного изменения, например кода. В каждой оценке указывается версия набора данных и версия рабочего процесса, из которого он получен, поэтому два прогона сравниваются на одном и том же основании.
Каждая версия на одних и тех же наборах данных
Каждая версия рабочего процесса выполняется на одних и тех же наборах данных, в изолированных средах и оценивается на основе исходных результатов: что было найдено, что пропущено и что, по сообщениям, отсутствует.
Кандидат против версии в производстве
Прежде чем новая версия будет опубликована, ее сравнивают с версией, находящейся в производстве: результаты, которые она сохраняет, те, которые она теряет, и те, которые она получает, сравниваются друг с другом.
Сколько стоит каждый тест
В каждом тесте указывается его стоимость, поэтому версия, которая находит то же самое по более низкой цене или больше по более высокой, — это выбор, сделанный с учетом цифр.
Держится отдельно от ваших клиентов
Тестирование проводится отдельно от работы, которую видят ваши клиенты. Тестируемая версия для них ничего не меняет, пока кто-нибудь не решит ее опубликовать.
Как это работает
От набора данных к опубликованной версии
Четыре шага. Последнее — это решение, принимаемое человеком, а не побочный эффект установки нового кода.
01
Запишите, что нужно найти
Набор данных содержит небольшое приложение с установленными проблемами, список результатов, о которых должен сообщить рабочий процесс, и проблемы, которые только кажутся реальными, о которых он не должен сообщать.
02
Запустите каждую версию на одних и тех же наборах данных.
Рабочая версия и кандидат работают на одних и тех же наборах данных, каждый в изолированной среде, и обе оцениваются по необработанным результатам.
03
Сравните два
Сохраненные, потерянные и приобретенные находки, а также стоимость каждого прогона. Изменение, которое теряет результат, отображается здесь до того, как оно будет запущено в производство.
04
Опубликовать по решению
Версия публикуется только тогда, когда кто-то решает ее опубликовать, имея перед собой сравнение.
Неопубликованная версия не доходит до потребителя, сколько бы раз она ни запускалась.
Создан для
Создан для людей, которые меняют рабочий процесс и отвечают за его результаты.
Инженерное дело
Команды, создающие рабочие процессы ИИ
Измените prompt, модель или шаг и узнайте, прежде чем оно будет запущено в производство, что это изменение дало, а что потеряло.
Качество
Люди, одобряющие новую версию
Принимайте решение о новой версии, сравнивая ее с известными ответами, а не демонстрируя случаи, когда она оказывается верной.
Лидерство
Те, кто отвечает за результат
Когда клиент спрашивает, находит ли новая версия то же, что и старая, ответом является уже существующее измерение.
Почему Noether
Почему Noether?
Назван в честь Эмми Noether, математика, чья теорема 1918 года связывает каждую симметрию физической системы с величиной, которую система сохраняет. Регрессионный тест задает тот же вопрос программному обеспечению: когда рабочий процесс меняется, что должно остаться прежним?
Рабочие процессы на первом месте, потому что они меняются чаще всего и потерянная находка обходится там дороже всего.
Далее для агентов и моделей создаются одни и те же наборы данных и тесты: наборы данных и тесты всех видов, где бы изменение ни доказало, что оно сохранило то, что имело значение.
То, что должно оставаться неизменным, записано
Результаты, которые должен сохранить рабочий процесс, перечислены в наборе данных, поэтому изменение измеряется по ним, а не по воспоминаниям о том, как он вёл себя раньше.
Измерено на основе необработанных результатов
Версия оценивается на основании того, о чем она на самом деле сообщается, по одному факту за раз, и на основании того, сколько это стоит.
Опубликовано по решению
Публикация версии — это явное действие, выполняемое после тестирования, а не следствие установки нового кода.
Наши специалисты с продуктом
Наши эксперты вместе с вашей командой создают первые наборы данных, обучают людей, которые будут их хранить, и передают им практику.
Измеряйте рабочий процесс, прежде чем полагаться на него
Расскажите нам, какой рабочий процесс вы меняете чаще всего, и мы покажем вам, как он выглядит.