Ibdel fluss tax-xogħol biss meta jkun għadu jsib dak li sab qabel.
Noether huwa testijiet ta' referenza u rigressjoni għall-flussi tax-xogħol tal-IA. Kull verżjoni ta 'fluss tax-xogħol taħdem ma' settijiet ta 'dejta ta' referenza li t-tweġibiet tagħhom huma magħrufa, u kandidat jitqabbel mal-verżjoni fil-produzzjoni qabel ma xi ħadd joqgħod fuqha.
Jagħti prova li verżjoni ġdida ta’ workflow għadha ssib dak li sabet dik ta’ qabilha, qabel ma xi ħadd jistrieħ fuqha.
Benchmarks u ttestjar ta’ rigressjoni għall-workflows tal-AI. Kull verżjoni ta’ workflow titħaddem fuq settijiet tad-data ta’ referenza li t-tweġibiet tagħhom huma magħrufa, u tiġi evalwata skont dak li ssib, dak li ma ssibx u kemm tiswa. Verżjoni kandidata titqabbel mal-verżjoni fil-produzzjoni qabel ma tiġi ppubblikata, biex bidla li minħabba fiha tintilef sejba tinqabad qabel ma tiġi rilaxxata. Il-workflows jiġu l-ewwel: wara, l-istess settijiet tad-data u benchmarks jinbnew għall-aġenti u għall-mudelli.
Workflow jinbidel biss meta l-kejl juri li għadu jsib dak li sab qabel.
Kapaċitajiet
X'miżuri Noether, u kif
Fluss tax-xogħol tal-AI jinbidel spiss: prompt ġdid, mudell ġdid, pass ġdid. Noether iwieġeb mistoqsija waħda qabel ma kull bidla tidħol fil-produzzjoni: xorta ssib dak li sabet qabel?
Referenza settijiet tad-dejta bi tweġibiet magħrufa
Kull dataset huwa applikazzjoni żgħira bi problemi mħawla fiha. Hija ġġorr il-lista eżatta ta 'dak li fluss tax-xogħol għandu jirrapporta, u tal-problemi li jidhru biss reali, li m'għandux jirrapporta, għalhekk riżultat huwa ċċekkjat ma' tweġiba aktar milli ġġudikat mill-opinjoni.
Settijiet tad-dejta li jinbidlu bħall-kodiċi
Sett ta' dejta jinbidel permezz ta' bidla riveduta, bħall-kodiċi. Kull punteġġ issemmi l-verżjoni tas-sett tad-dejta u l-verżjoni tal-fluss tax-xogħol li ġej minnu, għalhekk żewġ ġirjiet huma mqabbla fuq l-istess bażi.
Kull verżjoni fuq l-istess datasets
Kull verżjoni ta' fluss tax-xogħol taħdem fuq l-istess settijiet ta' dejta, f'ambjenti iżolati, u tiġi mmarkata fuq ir-riżultati mhux ipproċessati tagħha: dak li sabet, dak li tilfet u dak li rrapporta li ma jkunx hemm.
Kandidat kontra l-verżjoni fil-produzzjoni
Qabel ma tiġi ppubblikata verżjoni ġdida, titqabbel mal-verżjoni fil-produzzjoni: is-sejbiet li żżomm, dawk li titlef u dawk li takkwista, ħdejn xulxin.
X'jiswa kull run ta' referenza
Kull ġirja ta’ benchmark tiddikjara kemm tiswa, għalhekk verżjoni li ssib l-istess bi prezz aktar baxx, jew aktar f’wieħed ogħla, hija għażla magħmula bin-numri f’idejhom.
Miżmuma 'l bogħod mill-klijenti tiegħek
Run benchmark tinżamm barra mix-xogħol li jaraw il-klijenti tiegħek. Verżjoni taħt test ma tbiddel xejn għalihom sakemm xi ħadd jiddeċiedi li jippubblikaha.
Kif taħdem
Minn dataset għal verżjoni ppubblikata
Erba’ passi. L-aħħar waħda hija deċiżjoni meħuda minn persuna, qatt effett sekondarju tal-installazzjoni ta 'kodiċi ġdid.
01
Ikteb dak li għandu jinstab
Sett ta 'dejta għandu applikazzjoni żgħira bi problemi mħawla, il-lista ta' sejbiet li fluss tax-xogħol irid jirrapporta u l-problemi li jidhru biss reali, li m'għandux jirrapporta.
02
Mexxi kull verżjoni fuq l-istess datasets
Il-verżjoni fil-produzzjoni u l-kandidat jimxu fuq l-istess settijiet ta 'dejta, kull wieħed f'ambjent iżolat, u t-tnejn huma mmarkati fuq ir-riżultati mhux maħduma tagħhom.
03
Qabbel it-tnejn
Sejbiet miżmuma, mitlufa u miksuba, u l-ispiża ta 'kull ġirja. Bidla li titlef sejba tidher hawn, qabel ma tidħol fil-produzzjoni.
04
Ippubblika b'deċiżjoni
Verżjoni hija ppubblikata biss meta xi ħadd jiddeċiedi li jippubblikaha, bil-paragun quddiemu.
Verżjoni li ma ġietx ippubblikata ma tilħaq l-ebda klijent, iżda kemm-il darba ħarġet.
Mibnija għal
Mibnija għan-nies li jibdlu fluss tax-xogħol u jwieġbu għar-riżultati tiegħu
Inġinerija
Timijiet li jibnu flussi tax-xogħol tal-AI
Ibdel prompt, mudell jew pass u tkun taf, qabel ma tidħol fil-produzzjoni, x'kisbet il-bidla u x'tilfet.
Kwalità
In-nies li japprovaw verżjoni ġdida
Iddeċiedi fuq verżjoni ġdida minn paragun ma 'tweġibiet magħrufa, mhux minn dimostrazzjoni dwar il-każijiet li jiġri li tikseb id-dritt.
Tmexxija
Dawk li jwieġbu għar-riżultati
Meta klijent jistaqsi jekk il-verżjoni l-ġdida għadha ssibx dak li sabet il-qadima, it-tweġiba hija kejl li diġà jeżisti.
Għaliex Noether
Għaliex Noether?
Imsemmi għal Emmy Noether, il-matematiku li t-teorema tiegħu tal-1918 torbot kull simetrija ta' sistema fiżika ma' kwantità li s-sistema tikkonserva. Test ta 'rigressjoni jistaqsi l-istess tip ta' mistoqsija ta 'softwer: meta l-fluss tax-xogħol jinbidel, x'għandu jibqa' l-istess?
Il-flussi tax-xogħol jiġu l-ewwel, għax jinbidlu l-aktar spiss u sejba mitlufa tiswa l-aktar hemmhekk.
L-istess settijiet ta' dejta u punti ta' riferiment huma mibnija wara għall-aġenti u għall-mudelli: settijiet ta' dejta u punti ta' riferiment ta' kull tip, kull fejn bidla trid tipprova li żammet dak li kien importanti.
Dak li għandu jibqa l-istess, miktub
Is-sejbiet li fluss tax-xogħol irid iżomm huma elenkati fis-sett tad-dejta, għalhekk bidla titkejjel kontrihom aktar milli kontra memorja ta 'kif kien iġib ruħu.
Imkejjel fuq riżultati mhux ipproċessati
Verżjoni hija mmarkata fuq dak li fil-fatt irrapporta, sejba waħda kull darba, u fuq dak li jiswa.
Ippubblikat b'deċiżjoni
Il-pubblikazzjoni ta' verżjoni hija att espliċitu meħud wara l-benchmark, u qatt konsegwenza tal-installazzjoni ta' kodiċi ġdid.
L-esperti tagħna mal-prodott
L-esperti tagħna jibnu l-ewwel datasets mat-tim tiegħek, iħarrġu lin-nies li jżommuhom, u jgħaddulhom il-prattika.
Kejjel fluss tax-xogħol qabel ma tistrieħ fuqha
Għidilna liema fluss tax-xogħol tibdel l-aktar ta 'spiss, u aħna nuruk kif jidher punt ta' referenza tiegħu.