Επιστροφή στην πλατφόρμα

Benchmarks και έλεγχοι παλινδρόμησης για workflow

Αλλάξτε μια ροή εργασίας μόνο όταν βρίσκει αυτό που βρήκε πριν.

Το Noether είναι σημεία αναφοράς και δοκιμές παλινδρόμησης για ροές εργασίας AI. Κάθε έκδοση μιας ροής εργασίας εκτελείται με σύνολα δεδομένων αναφοράς των οποίων οι απαντήσεις είναι γνωστές και ένας υποψήφιος συγκρίνεται με την έκδοση στην παραγωγή προτού κάποιος βασιστεί σε αυτήν.

Benchmarks και έλεγχοι παλινδρόμησης για workflow

Αποδεικνύει ότι μια νέα έκδοση ενός workflow βρίσκει ακόμη ό,τι έβρισκε η προηγούμενη, πριν βασιστεί κανείς σε αυτήν.

Benchmarks και έλεγχοι παλινδρόμησης για workflow AI. Κάθε έκδοση ενός workflow εκτελείται πάνω σε σύνολα δεδομένων αναφοράς με γνωστές απαντήσεις και βαθμολογείται με βάση ό,τι βρίσκει, ό,τι του ξεφεύγει και πόσο κοστίζει. Μια υποψήφια έκδοση συγκρίνεται με την έκδοση που βρίσκεται στην παραγωγή πριν δημοσιευθεί, ώστε μια αλλαγή που χάνει ένα εύρημα να εντοπίζεται πριν κυκλοφορήσει. Πρώτα έρχονται τα workflow: στη συνέχεια, τα ίδια σύνολα δεδομένων και benchmarks χτίζονται για πράκτορες και για μοντέλα.

Ένα workflow αλλάζει μόνο όταν οι μετρήσεις δείχνουν ότι βρίσκει ακόμη ό,τι έβρισκε πριν.

Δυνατότητες

Τι μετράει το Noether και πώς

Μια ροή εργασίας AI αλλάζει συχνά: ένα νέο prompt, ένα νέο μοντέλο, ένα νέο βήμα. Το Noether απαντά σε μια ερώτηση πριν από κάθε αλλαγή βγει στην παραγωγή: εξακολουθεί να βρίσκει αυτό που βρήκε πριν;

Αναφορά σε σύνολα δεδομένων με γνωστές απαντήσεις

Κάθε σύνολο δεδομένων είναι μια μικρή εφαρμογή με προβλήματα. Περιέχει τον ακριβή κατάλογο του τι πρέπει να αναφέρει μια ροή εργασίας και των προβλημάτων που φαίνονται μόνο πραγματικά, τα οποία δεν πρέπει να αναφέρει, επομένως ένα αποτέλεσμα ελέγχεται σε σχέση με μια απάντηση αντί να κρίνεται από τη γνώμη.

Σύνολα δεδομένων που αλλάζουν σαν κώδικας

Ένα σύνολο δεδομένων αλλάζει μέσω μιας ελεγμένης αλλαγής, όπως ο κώδικας. Κάθε βαθμολογία ονομάζει την έκδοση του συνόλου δεδομένων και την έκδοση της ροής εργασίας από την οποία προήλθε, επομένως δύο εκτελέσεις συγκρίνονται στο ίδιο έδαφος.

Κάθε έκδοση στα ίδια σύνολα δεδομένων

Κάθε έκδοση μιας ροής εργασίας εκτελείται στα ίδια σύνολα δεδομένων, σε μεμονωμένα περιβάλλοντα, και βαθμολογείται με βάση τα πρωτογενή αποτελέσματά της: τι βρήκε, τι έχασε και τι ανέφερε ότι δεν υπάρχει.

Ένας υποψήφιος ενάντια στην έκδοση στην παραγωγή

Πριν δημοσιευτεί μια νέα έκδοση, συγκρίνεται με την έκδοση σε παραγωγή: τα ευρήματα που διατηρεί, αυτά που χάνει και αυτά που κερδίζει, δίπλα-δίπλα.

Τι κοστίζει κάθε δοκιμή αναφοράς

Κάθε δοκιμή αναφοράς δηλώνει το κόστος του, επομένως μια έκδοση που βρίσκει το ίδιο σε χαμηλότερη τιμή ή περισσότερα σε υψηλότερη, είναι μια επιλογή που γίνεται με τους αριθμούς στο χέρι.

Κρατήστε μακριά από τους πελάτες σας

Μια σειρά αναφοράς διατηρείται εκτός από την εργασία που βλέπουν οι πελάτες σας. Μια έκδοση υπό δοκιμή δεν αλλάζει τίποτα για αυτούς μέχρι να αποφασίσει κάποιος να τη δημοσιεύσει.

Πώς λειτουργεί

Από ένα σύνολο δεδομένων σε μια δημοσιευμένη έκδοση

Τέσσερα βήματα. Το τελευταίο είναι μια απόφαση που λαμβάνεται από ένα άτομο, ποτέ παρενέργεια της εγκατάστασης νέου κώδικα.

  1. Γράψτε τι πρέπει να βρεθεί

    Ένα σύνολο δεδομένων περιέχει μια μικρή εφαρμογή με φυτεμένα προβλήματα, τη λίστα ευρημάτων που πρέπει να αναφέρει μια ροή εργασίας και τα προβλήματα που φαίνονται μόνο πραγματικά, τα οποία δεν πρέπει να αναφέρει.

  2. Εκτελέστε κάθε έκδοση στα ίδια σύνολα δεδομένων

    Η έκδοση στην παραγωγή και ο υποψήφιος εκτελούνται στα ίδια σύνολα δεδομένων, το καθένα σε ένα απομονωμένο περιβάλλον, και τα δύο βαθμολογούνται στα πρωτογενή αποτελέσματά τους.

  3. Συγκρίνετε τα δύο

    Τα ευρήματα που διατηρήθηκαν, χάθηκαν και κερδήθηκαν, και το κόστος κάθε διαδρομής. Μια αλλαγή που χάνει ένα εύρημα εμφανίζεται εδώ, πριν βγει στην παραγωγή.

  4. Δημοσίευση με απόφαση

    Μια έκδοση δημοσιεύεται μόνο όταν κάποιος αποφασίσει να τη δημοσιεύσει, με τη σύγκριση μπροστά του.

Μια έκδοση που δεν έχει δημοσιευτεί δεν φτάνει σε κανέναν πελάτη, όσες φορές κι αν έχει τρέξει.

Κατασκευάστηκε για

Σχεδιασμένο για τα άτομα που αλλάζουν μια ροή εργασίας και απαντούν για τα αποτελέσματά της

Μηχανική

Ομάδες που δημιουργούν ροές εργασίας AI

Αλλάξτε ένα prompt, ένα μοντέλο ή ένα βήμα και μάθετε, πριν βγει στην παραγωγή, τι κέρδισε η αλλαγή και τι έχασε.

Ποιότητα

Τα άτομα που εγκρίνουν μια νέα έκδοση

Αποφασίστε για μια νέα έκδοση από μια σύγκριση με γνωστές απαντήσεις, όχι από μια επίδειξη για τις περιπτώσεις που τυχαίνει να είναι σωστή.

Ηγεσία

Αυτοί που απαντούν για τα αποτελέσματα

Όταν ένας πελάτης ρωτά εάν η νέα έκδοση εξακολουθεί να βρίσκει αυτό που βρήκε η παλιά, η απάντηση είναι μια μέτρηση που υπάρχει ήδη.

Γιατί Noether

Γιατί Noether;

Πήρε το όνομά του από την Emmy Noether, τη μαθηματική της οποίας το θεώρημα του 1918 συνδέει κάθε συμμετρία ενός φυσικού συστήματος με μια ποσότητα που το σύστημα διατηρεί. Ένα τεστ παλινδρόμησης θέτει το ίδιο είδος ερώτησης λογισμικού: όταν αλλάζει η ροή εργασίας, τι πρέπει να παραμένει ίδιο;

Οι ροές εργασίας έρχονται πρώτα, γιατί αλλάζουν πιο συχνά και εκεί κοστίζει περισσότερο ένα χαμένο εύρημα.

Τα ίδια σύνολα δεδομένων και τα ίδια σημεία αναφοράς δημιουργούνται στη συνέχεια για τους πράκτορες και για τα μοντέλα: σύνολα δεδομένων και σημεία αναφοράς κάθε είδους, όπου μια αλλαγή πρέπει να αποδεικνύει ότι διατήρησε αυτό που είχε σημασία.

Τι πρέπει να μείνει ίδιο, γραμμένο

Τα ευρήματα που πρέπει να διατηρήσει μια ροή εργασίας παρατίθενται στο σύνολο δεδομένων, επομένως μια αλλαγή μετριέται με βάση αυτά και όχι με βάση μια μνήμη του πώς συμπεριφερόταν παλιά.

Μετρήθηκε σε ακατέργαστα αποτελέσματα

Μια έκδοση βαθμολογείται με βάση το τι πράγματι ανέφερε, ένα εύρημα τη φορά και το κόστος.

Δημοσιεύθηκε με απόφαση

Η δημοσίευση μιας έκδοσης είναι μια ρητή πράξη που λαμβάνεται μετά το σημείο αναφοράς και ποτέ δεν είναι συνέπεια της εγκατάστασης νέου κώδικα.

Οι ειδικοί μας με το προϊόν

Οι ειδικοί μας δημιουργούν τα πρώτα σύνολα δεδομένων με την ομάδα σας, εκπαιδεύουν τα άτομα που θα τα διατηρήσουν και τους παραδίδουν την πρακτική.

Μετρήστε μια ροή εργασίας προτού βασιστείτε σε αυτήν

Πείτε μας ποια ροή εργασιών αλλάζετε πιο συχνά και θα σας δείξουμε πώς φαίνεται ένα σημείο αναφοράς της.

Γνωρίστε έναν ειδικό