Modifica un flusso di lavoro solo quando trova ancora ciò che ha trovato prima.
Noether sono benchmark e test di regressione per i flussi di lavoro IA. Ogni versione di un flusso di lavoro viene eseguita rispetto a set di dati di riferimento le cui risposte sono note e un candidato viene confrontato con la versione in produzione prima che qualcuno faccia affidamento su di essa.
Dimostra che una nuova versione di un workflow trova ancora ciò che trovava la precedente, prima che qualcuno ci faccia affidamento.
Benchmark e test di regressione per i workflow IA. Ogni versione di un workflow viene eseguita su dataset di riferimento con risposte note e valutata in base a ciò che trova, a ciò che le sfugge e a quanto costa. Prima della pubblicazione, una versione candidata viene confrontata con quella in produzione, così una modifica che fa perdere un rilievo viene intercettata prima del rilascio. Si parte dai workflow: gli stessi dataset e benchmark vengono poi costruiti per gli agenti e per i modelli.
Un workflow cambia solo quando le misure dimostrano che trova ancora ciò che trovava prima.
Capacità
Cosa misura Noether e come
Un flusso di lavoro AI viene modificato spesso: un nuovo prompt, un nuovo modello, un nuovo passaggio. Noether risponde ad una domanda prima che ogni modifica entri in produzione: trova ancora quello che trovava prima?
Set di dati di riferimento con risposte note
Ogni set di dati è una piccola applicazione con problemi al suo interno. Contiene l'elenco esatto di ciò che un flusso di lavoro deve segnalare e dei problemi che sembrano solo reali, che non deve segnalare, quindi un risultato viene confrontato con una risposta piuttosto che giudicato in base all'opinione.
Set di dati che cambiano come il codice
Un set di dati cambia attraverso una modifica rivista, come il codice. Ogni punteggio indica la versione del set di dati e la versione del flusso di lavoro da cui proviene, quindi due esecuzioni vengono confrontate sullo stesso terreno.
Ogni versione sugli stessi set di dati
Ogni versione di un flusso di lavoro viene eseguita sugli stessi set di dati, in ambienti isolati, e viene valutato in base ai risultati grezzi: cosa ha trovato, cosa ha mancato e cosa ha segnalato che non c'è.
Un candidato contro la versione in produzione
Prima che una nuova versione venga pubblicata, viene confrontata con quella in produzione: i risultati che conserva, quelli che perde e quelli che guadagna, fianco a fianco.
Quanto costa ciascuna esecuzione di benchmark
Ogni esecuzione del benchmark indica quanto costa, quindi una versione che trova lo stesso a un prezzo inferiore, o di più a uno più alto, è una scelta fatta con i numeri in mano.
Tieniti separato dai tuoi clienti
Una corsa di benchmark viene tenuta separata dal lavoro visto dai tuoi clienti. Una versione in prova non cambia nulla per loro finché qualcuno non decide di pubblicarla.
Come funziona
Da un dataset a una versione pubblicata
Quattro passi. L'ultima è una decisione presa da una persona, mai un effetto collaterale dell'installazione di un nuovo codice.
01
Annota ciò che deve essere trovato
Un set di dati contiene una piccola applicazione con problemi riscontrati, l'elenco dei risultati che un flusso di lavoro deve segnalare e i problemi che sembrano solo reali, che non deve segnalare.
02
Esegui ciascuna versione sugli stessi set di dati
La versione in produzione e quella candidata vengono eseguite sugli stessi set di dati, ciascuno in un ambiente isolato, ed entrambi ricevono un punteggio in base ai risultati grezzi.
03
Confronta i due
Risultati conservati, persi e acquisiti e costo di ogni corsa. Un cambiamento che perde un risultato viene visualizzato qui, prima di entrare in produzione.
04
Pubblica per decisione
Una versione viene pubblicata solo quando qualcuno decide di pubblicarla, con il confronto davanti a sé.
Una versione che non è stata pubblicata non raggiunge nessun cliente, per quante volte sia stata pubblicata.
Costruito per
Creato per le persone che modificano un flusso di lavoro e rispondono dei suoi risultati
Ingegneria
Team che creano flussi di lavoro basati sull'intelligenza artificiale
Cambia un prompt, un modello o un passo e scopri, prima che vada in produzione, cosa ha guadagnato e cosa ha perso la modifica.
Qualità
Le persone che approvano una nuova versione
Decidi una nuova versione confrontando le risposte conosciute, non da una dimostrazione sui casi in cui sembra che abbiano ragione.
Direzione
Coloro che rispondono dei risultati
Quando un cliente chiede se la nuova versione trova ancora ciò che trovava quella vecchia, la risposta è una misurazione già esistente.
Perchè Noether
Perché Noether?
Prende il nome da Emmy Noether, la matematica il cui teorema del 1918 lega ogni simmetria di un sistema fisico a una quantità che il sistema conserva. Un test di regressione pone lo stesso tipo di domanda al software: quando il flusso di lavoro cambia, cosa deve rimanere lo stesso?
I flussi di lavoro vengono prima di tutto, perché cambiano più spesso e uno smarrimento costa di più.
Successivamente vengono creati gli stessi set di dati e benchmark per gli agenti e per i modelli: set di dati e benchmark di ogni tipo, ovunque un cambiamento debba dimostrare di aver mantenuto ciò che contava.
Ciò che deve rimanere uguale, scritto
I risultati che un flusso di lavoro deve conservare sono elencati nel set di dati, quindi un cambiamento viene misurato rispetto ad essi piuttosto che rispetto al ricordo di come si comportava in passato.
Misurato sui risultati grezzi
Una versione viene valutata in base a ciò che ha effettivamente riportato, una scoperta alla volta, e in base al suo costo.
Pubblicato per decisione
La pubblicazione di una versione è un atto esplicito intrapreso dopo il benchmark e mai una conseguenza dell'installazione di nuovo codice.
I nostri esperti con il prodotto
I nostri esperti costruiscono i primi set di dati con il tuo team, formano le persone che li conserveranno e affidano loro la pratica.
Misura un flusso di lavoro prima di fare affidamento su di esso
Dicci quale flusso di lavoro cambi più spesso e ti mostreremo come si presenta un suo benchmark.