Zmień przepływ pracy tylko wtedy, gdy nadal znajdzie to, co znalazł wcześniej.
Noether to testy porównawcze i testy regresyjne dla przepływów pracy AI. Każda wersja przepływu pracy opiera się na referencyjnych zbiorach danych, których odpowiedzi są znane, a kandydat jest porównywany z wersją produkcyjną, zanim ktokolwiek będzie na niej polegał.
Dowodzi, że nowa wersja workflowu nadal znajduje to, co znajdowała poprzednia, zanim ktokolwiek zacznie na niej polegać.
Benchmarki i testy regresyjne dla workflowów AI. Każda wersja workflowu jest uruchamiana na referencyjnych zbiorach danych o znanych odpowiedziach i oceniana według tego, co znajduje, co przeocza i ile kosztuje. Przed publikacją wersja kandydująca jest porównywana z wersją produkcyjną, dzięki czemu zmiana, która gubi jakieś znalezisko, zostaje wychwycona, zanim trafi na produkcję. Najpierw workflowy: te same zbiory danych i benchmarki powstaną w następnej kolejności dla agentów i dla modeli.
Workflow zmienia się tylko wtedy, gdy pomiary pokazują, że nadal znajduje to, co znajdował wcześniej.
Możliwości
Co i w jaki sposób mierzy Noether
Przepływ pracy AI jest często zmieniany: nowy prompt, nowy model, nowy krok. Noether odpowiada na jedno pytanie przed wprowadzeniem każdej zmiany do środowiska produkcyjnego: czy nadal znajduje to samo, co wcześniej?
Referencyjne zbiory danych ze znanymi odpowiedziami
Każdy zbiór danych to mała aplikacja z ukrytymi w niej problemami. Zawiera dokładną listę tego, co musi zgłosić przepływ pracy, oraz problemów, które tylko wyglądają na rzeczywiste, a których nie wolno zgłaszać, więc wynik jest porównywany z odpowiedzią, a nie oceniany na podstawie opinii.
Zbiory danych, które zmieniają się jak kod
Zbiór danych zmienia się w wyniku sprawdzonej zmiany, takiej jak kod. Każdy wynik określa wersję zbioru danych i wersję przepływu pracy, z której pochodzi, więc dwa przebiegi porównuje się na tym samym podłożu.
Każda wersja na tych samych zbiorach danych
Każda wersja przepływu pracy działa na tych samych zbiorach danych, w odizolowanych środowiskach i jest oceniana na podstawie nieprzetworzonych wyników: tego, co znalazła, co przeoczyła i czego według raportu nie ma.
Kandydat przeciwko wersji produkcyjnej
Przed opublikowaniem nowej wersji jest ona porównywana z wersją produkcyjną: zebrane obok siebie ustalenia, te utracone i te, które zyskała.
Ile kosztuje każdy przebieg testu porównawczego
Każdy test porównawczy określa koszt, więc wersja, która znajdzie to samo przy niższej cenie lub więcej przy wyższej, jest wyborem dokonanym na podstawie liczb w ręku.
Trzymaj się z dala od klientów
Test porównawczy jest oddzielony od pracy, którą widzą Twoi klienci. Testowana wersja nic dla nich nie zmienia, dopóki ktoś nie zdecyduje się jej opublikować.
Jak to działa
Od zbioru danych do opublikowanej wersji
Cztery kroki. To ostatnie jest decyzją podejmowaną przez człowieka, a nie efektem ubocznym instalacji nowego kodu.
01
Zapisz, co należy znaleźć
Zbiór danych zawiera małą aplikację z ukrytymi problemami, listę ustaleń, które musi zgłosić przepływ pracy, oraz problemy, które tylko wyglądają na rzeczywiste, a których nie wolno zgłaszać.
02
Uruchom każdą wersję na tych samych zestawach danych
Wersja produkcyjna i wersja kandydująca działają na tych samych zestawach danych, każdy w izolowanym środowisku, a obie są oceniane na podstawie surowych wyników.
03
Porównaj te dwa
Ustalenia zachowane, utracone i uzyskane oraz koszt każdego przebiegu. Zmiana, która traci wynik, pojawia się tutaj, zanim trafi do produkcji.
04
Publikuj w drodze decyzji
Wersja jest publikowana dopiero wtedy, gdy ktoś zdecyduje się ją opublikować, mając przed sobą porównanie.
Wersja, która nie została opublikowana, nie dociera do klienta, niezależnie od tego, ile razy była uruchamiana.
Zbudowany dla
Stworzony dla ludzi, którzy zmieniają przepływ pracy i odpowiadają za jego wyniki
Inżynieria
Zespoły tworzące przepływy pracy AI
Zmień prompt, model lub krok i dowiedz się, zanim trafi do produkcji, co zyskała, a co straciła zmiana.
Jakość
Osoby, które zatwierdzają nową wersję
Zdecyduj się na nową wersję na podstawie porównania ze znanymi odpowiedziami, a nie na podstawie demonstracji przypadków, w których okazuje się, że jest ona właściwa.
Przywództwo
Ci, którzy odpowiadają za wyniki
Kiedy klient pyta, czy nowa wersja nadal znajduje to, co znalazła stara, odpowiedzią jest pomiar, który już istnieje.
Dlaczego Noether
Dlaczego Noether?
Nazwany na cześć Emmy Noether, matematyka, którego twierdzenie z 1918 r. wiąże każdą symetrię układu fizycznego z wielkością, którą system zachowuje. Test regresji zadaje to samo pytanie dotyczące oprogramowania: kiedy zmienia się przepływ pracy, co musi pozostać takie samo?
Na pierwszym miejscu są przepływy pracy, ponieważ zmieniają się najczęściej, a zagubienie kosztuje tam najwięcej.
Następnie tworzone są te same zbiory danych i wzorce dla agentów i modeli: zbiory danych i wzorce wszelkiego rodzaju, wszędzie tam, gdzie zmiana musi udowodnić, że zachowała to, co miało znaczenie.
Co musi pozostać takie samo, zapisane
Ustalenia, które musi zachować przepływ pracy, są wymienione w zbiorze danych, więc zmianę mierzy się na podstawie nich, a nie pamięci o tym, jak się zachowywał.
Mierzone na podstawie surowych wyników
Wersja jest oceniana na podstawie tego, co faktycznie zgłoszono, po jednym znalezisku na raz i na podstawie tego, jaki jest tego koszt.
Opublikowane decyzją
Publikacja wersji jest wyraźną czynnością podejmowaną po przeprowadzeniu testu porównawczego i nigdy nie jest konsekwencją zainstalowania nowego kodu.
Nasi eksperci z produktem
Nasi eksperci wspólnie z Twoim zespołem budują pierwsze zbiory danych, szkolą osoby, które będą je przechowywać i przekazują im praktykę.
Zmierz przepływ pracy, zanim na nim zaczniesz polegać
Powiedz nam, który przepływ pracy zmieniasz najczęściej, a my pokażemy Ci, jak wygląda jego benchmark.