Wijzig een workflow alleen als deze nog steeds vindt wat hij eerder heeft gevonden.
Noether zijn benchmarks en regressietests voor AI-workflows. Elke versie van een workflow wordt uitgevoerd op basis van referentiedatasets waarvan de antwoorden bekend zijn, en een kandidaat wordt vergeleken met de versie in productie voordat iemand erop vertrouwt.
Bewijst dat een nieuwe versie van een workflow nog steeds vindt wat de vorige vond, voordat iemand erop vertrouwt.
Benchmarks en regressietests voor AI-workflows. Elke versie van een workflow draait tegen referentiedatasets waarvan de antwoorden bekend zijn, en krijgt een score op wat ze vindt, wat ze mist en wat ze kost. Een kandidaatversie wordt vóór publicatie vergeleken met de versie in productie, zodat een wijziging waardoor een bevinding verloren gaat, wordt opgemerkt voordat ze wordt uitgerold. Workflows komen eerst: dezelfde datasets en benchmarks worden daarna gebouwd voor agents en voor modellen.
Een workflow verandert pas als de metingen laten zien dat hij nog steeds vindt wat hij eerder vond.
Mogelijkheden
Wat Noether meet, en hoe
Een AI-workflow wordt vaak veranderd: een nieuw prompt, een nieuw model, een nieuwe stap. Noether beantwoordt één vraag voordat elke wijziging in productie gaat: wordt er nog steeds gevonden wat er eerder werd gevonden?
Referentiedatasets met bekende antwoorden
Elke dataset is een kleine applicatie met problemen erin. Het bevat de exacte lijst van wat een workflow moet rapporteren, en van de problemen die er alleen maar reëel uitzien en die niet mogen worden gerapporteerd, dus een resultaat wordt getoetst aan een antwoord in plaats van beoordeeld op basis van een mening.
Datasets die veranderen als code
Een dataset verandert door een beoordeelde wijziging, zoals code. Elke score vermeldt de versie van de dataset en de versie van de workflow waar deze vandaan kwam, zodat twee runs op hetzelfde terrein worden vergeleken.
Elke versie op dezelfde datasets
Elke versie van een workflow draait op dezelfde datasets, in geïsoleerde omgevingen, en wordt gescoord op basis van de ruwe resultaten: wat er is gevonden, wat er is gemist en wat er is gerapporteerd dat er niet is.
Een kandidaat tegen de versie in productie
Voordat een nieuwe versie wordt gepubliceerd, wordt deze vergeleken met de versie die in productie is: de bevindingen die erin blijven, de bevindingen die verloren gaan en de bevindingen die we winnen, naast elkaar.
Wat elke benchmarkrun kost
Elke benchmarkrun geeft aan wat het kost, dus een versie die hetzelfde vindt voor een lagere prijs, of meer voor een hogere prijs, is een keuze die wordt gemaakt met de cijfers in de hand.
Gescheiden van uw klanten
Een benchmarkrun wordt apart gehouden van het werk dat uw klanten zien. Een geteste versie verandert voor hen niets totdat iemand besluit deze te publiceren.
Hoe het werkt
Van een dataset naar een gepubliceerde versie
Vier stappen. De laatste is een beslissing die door een persoon wordt genomen, en nooit een bijwerking van het installeren van nieuwe code.
01
Schrijf op wat er gevonden moet worden
Een dataset bevat een kleine applicatie met geplante problemen, de lijst met bevindingen die een workflow moet rapporteren en de problemen die er alleen maar reëel uitzien, maar die niet mogen worden gerapporteerd.
02
Voer elke versie uit op dezelfde datasets
De versie in productie en de kandidaat draaien op dezelfde datasets, elk in een geïsoleerde omgeving, en beide worden gescoord op basis van hun onbewerkte resultaten.
03
Vergelijk de twee
Bewaarde bevindingen, verloren en gewonnen, en de kosten van elke run. Een wijziging waarbij een bevinding verloren gaat, wordt hier weergegeven voordat deze in productie gaat.
04
Publiceren bij besluit
Een versie wordt pas gepubliceerd als iemand besluit deze te publiceren, met de vergelijking voor zich.
Een versie die niet is gepubliceerd bereikt geen enkele klant, hoe vaak deze ook is gedraaid.
Gebouwd voor
Gebouwd voor de mensen die een workflow veranderen en verantwoording afleggen voor de resultaten ervan
Techniek
Teams die AI-workflows bouwen
Verander een prompt, een model of een stap en weet, voordat deze in productie gaat, wat de verandering heeft opgeleverd en wat deze heeft verloren.
Kwaliteit
De mensen die een nieuwe versie goedkeuren
Kies een nieuwe versie op basis van een vergelijking met bekende antwoorden, niet op basis van een demonstratie van de gevallen waarin de versie juist blijkt te zijn.
Leiderschap
Degenen die verantwoording afleggen voor de resultaten
Wanneer een klant vraagt of de nieuwe versie nog steeds vindt wat de oude vond, is het antwoord een meting die al bestaat.
Waarom Noether
Waarom Noether?
Vernoemd naar Emmy Noether, de wiskundige wiens stelling uit 1918 elke symmetrie van een fysiek systeem koppelt aan een grootheid die het systeem behoudt. Een regressietest stelt dezelfde soort vraag bij software: als de workflow verandert, wat moet dan hetzelfde blijven?
Workflows komen op de eerste plaats, omdat deze het vaakst veranderen en een zoekgeraakte vondst daar het meeste kost.
Dezelfde datasets en benchmarks worden vervolgens gebouwd voor agenten en voor modellen: datasets en benchmarks van elke soort, overal waar een verandering moet bewijzen dat het behouden blijft wat er toe doet.
Wat hetzelfde moet blijven, opgeschreven
De bevindingen die een workflow moet bijhouden, worden in de dataset vermeld, zodat een verandering aan de hand daarvan wordt afgemeten in plaats van aan de herinnering aan hoe deze zich vroeger gedroeg.
Gemeten op basis van ruwe resultaten
Een versie wordt gescoord op basis van wat er daadwerkelijk wordt gerapporteerd, één bevinding tegelijk, en op basis van wat dat kost.
Bij besluit gepubliceerd
Het publiceren van een versie is een expliciete handeling na de benchmark en nooit een gevolg van het installeren van nieuwe code.
Onze experts met het product
Onze experts bouwen samen met uw team de eerste datasets, trainen de mensen die ze gaan bijhouden en dragen de praktijk aan hen over.
Meet een workflow voordat u erop vertrouwt
Vertel ons welke workflow u het vaakst wijzigt, en wij laten u zien hoe een benchmark daarvan eruit ziet.