Вернуться на платформу

Бенчмарки и регрессионное тестирование workflow

Меняйте рабочий процесс только тогда, когда он все еще находит то, что нашел раньше.

Noether — это тесты и регрессионное тестирование рабочих процессов искусственного интеллекта. Каждая версия рабочего процесса работает с эталонными наборами данных, ответы на которые известны, и кандидат сравнивается с рабочей версией, прежде чем кто-либо на него будет полагаться.

Бенчмарки и регрессионное тестирование workflow

Доказывает, что новая версия workflow по-прежнему находит то, что находила предыдущая, до того как кто-либо начнёт на неё полагаться.

Бенчмарки и регрессионное тестирование AI-workflow. Каждая версия workflow прогоняется на эталонных наборах данных с известными ответами и оценивается по тому, что она находит, что пропускает и сколько стоит. Версия-кандидат до публикации сравнивается с версией в промышленной эксплуатации, поэтому изменение, из-за которого теряется находка, выявляется до выпуска. Начинаем с workflow: следующим шагом те же наборы данных и бенчмарки строятся для агентов и для моделей.

Workflow меняется только тогда, когда измерения показывают, что он по-прежнему находит то, что находил раньше.

Возможности

Что измеряет Noether и как

Рабочий процесс ИИ часто меняется: новый prompt, новая модель, новый шаг. Noether отвечает на один вопрос перед тем, как каждое изменение попадает в производство: находит ли оно то, что находило раньше?

Справочные наборы данных с известными ответами

Каждый набор данных представляет собой небольшое приложение, в котором заложены проблемы. Он содержит точный список того, о чем должен сообщать рабочий процесс, а также проблем, которые только кажутся реальными, о которых он не должен сообщать, поэтому результат сверяется с ответом, а не оценивается по мнению.

Наборы данных, которые меняются как код

Набор данных изменяется посредством проверенного изменения, например кода. В каждой оценке указывается версия набора данных и версия рабочего процесса, из которого он получен, поэтому два прогона сравниваются на одном и том же основании.

Каждая версия на одних и тех же наборах данных

Каждая версия рабочего процесса выполняется на одних и тех же наборах данных, в изолированных средах и оценивается на основе исходных результатов: что было найдено, что пропущено и что, по сообщениям, отсутствует.

Кандидат против версии в производстве

Прежде чем новая версия будет опубликована, ее сравнивают с версией, находящейся в производстве: результаты, которые она сохраняет, те, которые она теряет, и те, которые она получает, сравниваются друг с другом.

Сколько стоит каждый тест

В каждом тесте указывается его стоимость, поэтому версия, которая находит то же самое по более низкой цене или больше по более высокой, — это выбор, сделанный с учетом цифр.

Держится отдельно от ваших клиентов

Тестирование проводится отдельно от работы, которую видят ваши клиенты. Тестируемая версия для них ничего не меняет, пока кто-нибудь не решит ее опубликовать.

Как это работает

От набора данных к опубликованной версии

Четыре шага. Последнее — это решение, принимаемое человеком, а не побочный эффект установки нового кода.

  1. Запишите, что нужно найти

    Набор данных содержит небольшое приложение с установленными проблемами, список результатов, о которых должен сообщить рабочий процесс, и проблемы, которые только кажутся реальными, о которых он не должен сообщать.

  2. Запустите каждую версию на одних и тех же наборах данных.

    Рабочая версия и кандидат работают на одних и тех же наборах данных, каждый в изолированной среде, и обе оцениваются по необработанным результатам.

  3. Сравните два

    Сохраненные, потерянные и приобретенные находки, а также стоимость каждого прогона. Изменение, которое теряет результат, отображается здесь до того, как оно будет запущено в производство.

  4. Опубликовать по решению

    Версия публикуется только тогда, когда кто-то решает ее опубликовать, имея перед собой сравнение.

Неопубликованная версия не доходит до потребителя, сколько бы раз она ни запускалась.

Создан для

Создан для людей, которые меняют рабочий процесс и отвечают за его результаты.

Инженерное дело

Команды, создающие рабочие процессы ИИ

Измените prompt, модель или шаг и узнайте, прежде чем оно будет запущено в производство, что это изменение дало, а что потеряло.

Качество

Люди, одобряющие новую версию

Принимайте решение о новой версии, сравнивая ее с известными ответами, а не демонстрируя случаи, когда она оказывается верной.

Лидерство

Те, кто отвечает за результат

Когда клиент спрашивает, находит ли новая версия то же, что и старая, ответом является уже существующее измерение.

Почему Noether

Почему Noether?

Назван в честь Эмми Noether, математика, чья теорема 1918 года связывает каждую симметрию физической системы с величиной, которую система сохраняет. Регрессионный тест задает тот же вопрос программному обеспечению: когда рабочий процесс меняется, что должно остаться прежним?

Рабочие процессы на первом месте, потому что они меняются чаще всего и потерянная находка обходится там дороже всего.

Далее для агентов и моделей создаются одни и те же наборы данных и тесты: наборы данных и тесты всех видов, где бы изменение ни доказало, что оно сохранило то, что имело значение.

То, что должно оставаться неизменным, записано

Результаты, которые должен сохранить рабочий процесс, перечислены в наборе данных, поэтому изменение измеряется по ним, а не по воспоминаниям о том, как он вёл себя раньше.

Измерено на основе необработанных результатов

Версия оценивается на основании того, о чем она на самом деле сообщается, по одному факту за раз, и на основании того, сколько это стоит.

Опубликовано по решению

Публикация версии — это явное действие, выполняемое после тестирования, а не следствие установки нового кода.

Наши специалисты с продуктом

Наши эксперты вместе с вашей командой создают первые наборы данных, обучают людей, которые будут их хранить, и передают им практику.

Измеряйте рабочий процесс, прежде чем полагаться на него

Расскажите нам, какой рабочий процесс вы меняете чаще всего, и мы покажем вам, как он выглядит.

Познакомьтесь с экспертом