Powrót na platformę

Benchmarki i testy regresyjne workflowów

Zmień przepływ pracy tylko wtedy, gdy nadal znajdzie to, co znalazł wcześniej.

Noether to testy porównawcze i testy regresyjne dla przepływów pracy AI. Każda wersja przepływu pracy opiera się na referencyjnych zbiorach danych, których odpowiedzi są znane, a kandydat jest porównywany z wersją produkcyjną, zanim ktokolwiek będzie na niej polegał.

Benchmarki i testy regresyjne workflowów

Dowodzi, że nowa wersja workflowu nadal znajduje to, co znajdowała poprzednia, zanim ktokolwiek zacznie na niej polegać.

Benchmarki i testy regresyjne dla workflowów AI. Każda wersja workflowu jest uruchamiana na referencyjnych zbiorach danych o znanych odpowiedziach i oceniana według tego, co znajduje, co przeocza i ile kosztuje. Przed publikacją wersja kandydująca jest porównywana z wersją produkcyjną, dzięki czemu zmiana, która gubi jakieś znalezisko, zostaje wychwycona, zanim trafi na produkcję. Najpierw workflowy: te same zbiory danych i benchmarki powstaną w następnej kolejności dla agentów i dla modeli.

Workflow zmienia się tylko wtedy, gdy pomiary pokazują, że nadal znajduje to, co znajdował wcześniej.

Możliwości

Co i w jaki sposób mierzy Noether

Przepływ pracy AI jest często zmieniany: nowy prompt, nowy model, nowy krok. Noether odpowiada na jedno pytanie przed wprowadzeniem każdej zmiany do środowiska produkcyjnego: czy nadal znajduje to samo, co wcześniej?

Referencyjne zbiory danych ze znanymi odpowiedziami

Każdy zbiór danych to mała aplikacja z ukrytymi w niej problemami. Zawiera dokładną listę tego, co musi zgłosić przepływ pracy, oraz problemów, które tylko wyglądają na rzeczywiste, a których nie wolno zgłaszać, więc wynik jest porównywany z odpowiedzią, a nie oceniany na podstawie opinii.

Zbiory danych, które zmieniają się jak kod

Zbiór danych zmienia się w wyniku sprawdzonej zmiany, takiej jak kod. Każdy wynik określa wersję zbioru danych i wersję przepływu pracy, z której pochodzi, więc dwa przebiegi porównuje się na tym samym podłożu.

Każda wersja na tych samych zbiorach danych

Każda wersja przepływu pracy działa na tych samych zbiorach danych, w odizolowanych środowiskach i jest oceniana na podstawie nieprzetworzonych wyników: tego, co znalazła, co przeoczyła i czego według raportu nie ma.

Kandydat przeciwko wersji produkcyjnej

Przed opublikowaniem nowej wersji jest ona porównywana z wersją produkcyjną: zebrane obok siebie ustalenia, te utracone i te, które zyskała.

Ile kosztuje każdy przebieg testu porównawczego

Każdy test porównawczy określa koszt, więc wersja, która znajdzie to samo przy niższej cenie lub więcej przy wyższej, jest wyborem dokonanym na podstawie liczb w ręku.

Trzymaj się z dala od klientów

Test porównawczy jest oddzielony od pracy, którą widzą Twoi klienci. Testowana wersja nic dla nich nie zmienia, dopóki ktoś nie zdecyduje się jej opublikować.

Jak to działa

Od zbioru danych do opublikowanej wersji

Cztery kroki. To ostatnie jest decyzją podejmowaną przez człowieka, a nie efektem ubocznym instalacji nowego kodu.

  1. Zapisz, co należy znaleźć

    Zbiór danych zawiera małą aplikację z ukrytymi problemami, listę ustaleń, które musi zgłosić przepływ pracy, oraz problemy, które tylko wyglądają na rzeczywiste, a których nie wolno zgłaszać.

  2. Uruchom każdą wersję na tych samych zestawach danych

    Wersja produkcyjna i wersja kandydująca działają na tych samych zestawach danych, każdy w izolowanym środowisku, a obie są oceniane na podstawie surowych wyników.

  3. Porównaj te dwa

    Ustalenia zachowane, utracone i uzyskane oraz koszt każdego przebiegu. Zmiana, która traci wynik, pojawia się tutaj, zanim trafi do produkcji.

  4. Publikuj w drodze decyzji

    Wersja jest publikowana dopiero wtedy, gdy ktoś zdecyduje się ją opublikować, mając przed sobą porównanie.

Wersja, która nie została opublikowana, nie dociera do klienta, niezależnie od tego, ile razy była uruchamiana.

Zbudowany dla

Stworzony dla ludzi, którzy zmieniają przepływ pracy i odpowiadają za jego wyniki

Inżynieria

Zespoły tworzące przepływy pracy AI

Zmień prompt, model lub krok i dowiedz się, zanim trafi do produkcji, co zyskała, a co straciła zmiana.

Jakość

Osoby, które zatwierdzają nową wersję

Zdecyduj się na nową wersję na podstawie porównania ze znanymi odpowiedziami, a nie na podstawie demonstracji przypadków, w których okazuje się, że jest ona właściwa.

Przywództwo

Ci, którzy odpowiadają za wyniki

Kiedy klient pyta, czy nowa wersja nadal znajduje to, co znalazła stara, odpowiedzią jest pomiar, który już istnieje.

Dlaczego Noether

Dlaczego Noether?

Nazwany na cześć Emmy Noether, matematyka, którego twierdzenie z 1918 r. wiąże każdą symetrię układu fizycznego z wielkością, którą system zachowuje. Test regresji zadaje to samo pytanie dotyczące oprogramowania: kiedy zmienia się przepływ pracy, co musi pozostać takie samo?

Na pierwszym miejscu są przepływy pracy, ponieważ zmieniają się najczęściej, a zagubienie kosztuje tam najwięcej.

Następnie tworzone są te same zbiory danych i wzorce dla agentów i modeli: zbiory danych i wzorce wszelkiego rodzaju, wszędzie tam, gdzie zmiana musi udowodnić, że zachowała to, co miało znaczenie.

Co musi pozostać takie samo, zapisane

Ustalenia, które musi zachować przepływ pracy, są wymienione w zbiorze danych, więc zmianę mierzy się na podstawie nich, a nie pamięci o tym, jak się zachowywał.

Mierzone na podstawie surowych wyników

Wersja jest oceniana na podstawie tego, co faktycznie zgłoszono, po jednym znalezisku na raz i na podstawie tego, jaki jest tego koszt.

Opublikowane decyzją

Publikacja wersji jest wyraźną czynnością podejmowaną po przeprowadzeniu testu porównawczego i nigdy nie jest konsekwencją zainstalowania nowego kodu.

Nasi eksperci z produktem

Nasi eksperci wspólnie z Twoim zespołem budują pierwsze zbiory danych, szkolą osoby, które będą je przechowywać i przekazują im praktykę.

Zmierz przepływ pracy, zanim na nim zaczniesz polegać

Powiedz nam, który przepływ pracy zmieniasz najczęściej, a my pokażemy Ci, jak wygląda jego benchmark.

Poznaj eksperta