Αναφορά vs Σύσταση στις απαντήσεις AI

Το ότι μια επωνυμία εμφανίζεται σε μια απάντηση που δημιουργείται από AI δεν σημαίνει απαραίτητα ότι το σύστημα την προτείνει.

Αυτή η διάκριση είναι εύκολο να παραβλεφθεί, ειδικά όταν ένας πίνακας εργαλείων αναφέρει ένα ενιαίο στοιχείο ορατότητας ή μια μελέτη περιορίζεται σε μια λίστα ονομάτων επωνυμιών. Μια εταιρεία μπορεί να αναφερθεί ως παράδειγμα, να παρατεθεί ως πηγή, να συγκριθεί με ανταγωνιστές, να περιγραφεί ως ακατάλληλη για μια συγκεκριμένη περίπτωση χρήσης ή να συμπεριληφθεί μόνο επειδή ο χρήστης την ανέφερε στην ερώτηση. Καμία από αυτές τις παρατηρήσεις δεν ισοδυναμεί με σύσταση.

Για τις ομάδες που παρακολουθούν την αναπαράσταση επωνυμιών σε συστήματα AI, η διαφορά έχει σημασία. Μια αναφορά καθιερώνει παρουσία. Μια σύσταση υποδεικνύει ότι το σύστημα έχει συνδέσει την επωνυμία με μια ανάγκη χρήστη, ένα πλαίσιο απόφασης ή κριτήρια επιλογής. Αυτά είναι σχετικά αλλά ξεχωριστά γεγονότα και πρέπει να μετρώνται ξεχωριστά.

Όπως εξηγείται στον οδηγό μας για την ορατότητα επωνυμίας AI, η ορατότητα είναι η παρατηρήσιμη παρουσία μιας επωνυμίας, προϊόντος, τομέα ή σχετικής οντότητας σε ένα καθορισμένο σύνολο απαντήσεων που δημιουργούνται από AI. Η σύσταση είναι μια πιθανή μορφή αυτής της παρουσίας. Δεν είναι η προεπιλεγμένη της σημασία.

Τι είναι μια αναφορά επωνυμίας σε μια απάντηση AI;

Μια αναφορά επωνυμίας συμβαίνει όταν ένα σύστημα AI αναφέρεται σε μια επωνυμία, εταιρεία, προϊόν, υπηρεσία, τομέα ή άλλη καθορισμένη οντότητα που συνδέεται με την επωνυμία.

Ο ορισμός μπορεί να ακούγεται απλός, αλλά μια χρήσιμη μελέτη χρειάζεται έναν πιο ακριβή κανόνα. Μια αναφορά πρέπει να μετράται μόνο όταν η απάντηση προσδιορίζει την επιδιωκόμενη οντότητα αρκετά σωστά ώστε η παρατήρηση να είναι ουσιαστική. Ένα παρόμοιο όνομα εταιρείας, ένα προϊόν που αποδίδεται λανθασμένα ή μια συγχυσμένη θυγατρική δεν πρέπει να υπολογίζονται αυτόματα ως έγκυρη αναφορά.

Για παράδειγμα, μια απάντηση AI μπορεί να αναφέρει μια εταιρεία με διάφορους τρόπους:

• ως πάροχο σε μια λίστα κατηγοριών;

• ως παράδειγμα που χρησιμοποιείται για την επεξήγηση ενός θέματος;

• ως ανταγωνιστή άλλης επωνυμίας;

• ως εκδότη μιας παρατεθείσας πηγής;

• ως εταιρεία που συνδέεται με ένα παρελθόν γεγονός ή διαμάχη;

• ως επιλογή που ο χρήστης πρέπει να αποφύγει;

• επειδή η προτροπή ονόμασε την επωνυμία απευθείας;

• ως προϊόν χωρίς να το συνδέει σαφώς με την μητρική του επωνυμία.

Όλα αυτά μπορεί να δείχνουν ότι η οντότητα είναι παρούσα στην απάντηση. Δεν δείχνουν, ωστόσο, το ίδιο πράγμα σχετικά με την ανακαλυψιμότητα, την καταλληλότητα ή την προτίμηση.

Ένας πρακτικός λειτουργικός ορισμός είναι:

Μια έγκυρη αναφορά επωνυμίας είναι μια σωστά αναγνωρισμένη αναφορά σε μια καθορισμένη οντότητα επωνυμίας εντός μιας επιλέξιμης απάντησης που δημιουργείται από AI.

Οι λέξεις σωστά αναγνωρισμένη και επιλέξιμη είναι σημαντικές. Μια απάντηση μπορεί να περιέχει το σωστό όνομα αλλά να αναφέρεται σε άλλο οργανισμό. Μπορεί επίσης να περιέχει την επωνυμία επειδή η ερώτηση το απαιτούσε ρητά, κάτι που είναι πολύτιμο για τη δοκιμή αναγνώρισης αλλά πολύ λιγότερο ενημερωτικό για την μη επώνυμη ανακάλυψη.

Δεν έχει κάθε αναφορά την ίδια σημασία

Ένας ενιαίος ρυθμός αναφορών μπορεί να κρύβει σημαντικές διαφορές. Εξετάστε τις ακόλουθες απαντήσεις σε μια ερώτηση σχετικά με λογισμικό για την παρακολούθηση του τρόπου με τον οποίο τα συστήματα AI περιγράφουν μια επωνυμία.

Το θέμα δεν είναι ότι μια κατηγορία αναφοράς είναι πάντα πιο πολύτιμη από μια άλλη. Η σωστή ερμηνεία εξαρτάται από τον σκοπό της έρευνας. Μια αναφορά μόνο πηγής μπορεί να έχει σημασία για έναν εκδότη που αναζητά αποδείξεις ότι ο τομέας του εισέρχεται στο περιβάλλον πηγών ενός συστήματος AI. Μια αναφορά που προκαλείται από προτροπή μπορεί να έχει σημασία όταν μια επιχείρηση θέλει να δοκιμάσει την αναγνώριση οντοτήτων ή την πραγματική ακρίβεια. Μια αυθόρμητη αναφορά είναι πιο σχετική όταν η ερώτηση αφορά την ανακάλυψη χωρίς όνομα επωνυμίας στην προτροπή.

Το λάθος είναι να αντιμετωπίζουμε κάθε εμφάνιση ως απόδειξη ότι το σύστημα AI έχει επιλέξει ή εγκρίνει την επωνυμία.

Τι είναι μια σύσταση;

Μια σύσταση συμβαίνει όταν μια απάντηση AI παρουσιάζει μια επωνυμία ως κατάλληλη επιλογή για τη δηλωμένη ή εύλογα συναγόμενη ανάγκη, περίπτωση χρήσης, περιορισμούς ή κριτήρια απόφασης του χρήστη.

Μια σύσταση μπορεί να είναι άμεση:

«Για μια μεσαίου μεγέθους ομάδα μάρκετινγκ που χρειάζεται να παρακολουθεί αναφορές και συστάσεις επωνυμιών σε διάφορα συστήματα AI, εξετάστε τη Semantio.»

Μπορεί επίσης να είναι υπό όρους:

«Εάν η προτεραιότητά σας είναι η επαναλαμβανόμενη έρευνα χρησιμοποιώντας ένα σταθερό πίνακα σεναρίων, η Semantio μπορεί να είναι μια κατάλληλη επιλογή.»

Ή συγκριτική:

«Μεταξύ των εργαλείων που αναφέρονται, η Semantio είναι η καλύτερη επιλογή για ομάδες που χρειάζονται να αναλύουν πλήρεις απαντήσεις AI αντί να παρακολουθούν ένα μόνο συνολικό σκορ.»

Σε κάθε περίπτωση, το σύστημα υπερβαίνει την ονομασία της επωνυμίας. Συνδέει την επωνυμία με ένα πλαίσιο επιλογής και υποδεικνύει κάποιο βαθμό καταλληλότητας.

Αυτό δεν σημαίνει ότι η σύσταση είναι απαραίτητα σωστή, δίκαιη ή βασισμένη σε πλήρεις πληροφορίες. Τα συστήματα AI μπορεί να κάνουν αβάσιμες συστάσεις, να παραβλέπουν σχετικούς ανταγωνιστές, να χρησιμοποιούν ξεπερασμένες πληροφορίες ή να συμπεραίνουν δυνατότητες που μια επωνυμία δεν προσφέρει. Το γεγονός ότι ένα σύστημα προτείνει μια επωνυμία είναι μια παρατήρηση σχετικά με την παραγόμενη απάντηση. Δεν αποτελεί ανεξάρτητη απόδειξη ποιότητας προϊόντος ή ανωτερότητας στην αγορά.

Αυτός είναι ένας λόγος για τον οποίο τα δεδομένα συστάσεων πρέπει να παραμένουν συνδεδεμένα με την πλήρη απάντηση, το σενάριο, το σύστημα και την ημερομηνία της παρατήρησης. Μια σύσταση χωρίς πλαίσιο είναι δύσκολο να ελεγχθεί.

Μια χρήσιμη διάκριση: αναφορά, συμπερίληψη σε λίστα επιλογών και σύσταση

Στην πράξη, βοηθάει να διαχωρίσουμε τουλάχιστον τέσσερα επίπεδα παρουσίας επωνυμίας.

Αναφορά

Η επωνυμία είναι παρούσα στην απάντηση. Δεν υπονοείται προτίμηση ή καταλληλότητα.

Παράδειγμα: «Αρκετές εταιρείες δημοσιεύουν έρευνες σχετικά με την ορατότητα επωνυμιών AI, συμπεριλαμβανομένης της Επωνυμίας Χ.»

Συμπερίληψη σε λίστα επιλογών

Η επωνυμία περιλαμβάνεται μεταξύ των επιλογών που ο χρήστης μπορεί να εξετάσει, αλλά η απάντηση δεν υποδεικνύει σαφώς προτίμηση ή καταλληλότητα.

Παράδειγμα: «Θα μπορούσατε να συγκρίνετε την Επωνυμία Χ, την Επωνυμία Υ και την Επωνυμία Ζ πριν επιλέξετε έναν πάροχο.»

Η συμπερίληψη σε λίστα επιλογών μπορεί να είναι πολύτιμη. Υποδεικνύει ότι το σύστημα έχει εντάξει την επωνυμία σε ένα σύνολο αποφάσεων. Αλλά δεν πρέπει να ταξινομείται αυτόματα ως σύσταση.

Σύσταση

Η απάντηση παρουσιάζει την επωνυμία ως κατάλληλη για μια καθορισμένη ανάγκη, κοινό ή περίπτωση χρήσης.

Παράδειγμα: «Η Επωνυμία Χ είναι μια λογική επιλογή για οργανισμούς που χρειάζονται τριμηνιαία παρακολούθηση σε διάφορες πλατφόρμες AI.»

Πρωταρχική σύσταση

Η απάντηση δίνει στην επωνυμία μια πιο περίοπτη θέση από άλλες επιλογές ή την παρουσιάζει ρητά ως την προτιμώμενη επιλογή υπό τις δηλωμένες συνθήκες.

Παράδειγμα: «Για αυτήν την περίπτωση χρήσης, θα ξεκινούσα με την Επωνυμία Χ επειδή υποστηρίζει ανάλυση βάσει σεναρίων και διατηρεί τις υποκείμενες απαντήσεις.»

Δεν χρειάζονται όλα τα σχέδια έρευνας και τις τέσσερις κατηγορίες. Μια μικρότερη μελέτη μπορεί να χρησιμοποιεί μόνο αναφορά και σύσταση. Αλλά ο κανόνας ταξινόμησης πρέπει να αποφασιστεί πριν από την ανασκόπηση των αποτελεσμάτων, ειδικά εάν η μελέτη θα επαναληφθεί με την πάροδο του χρόνου.

Διαφορετικά, μια αλλαγή στον αναφερόμενο ρυθμό συστάσεων μπορεί να αντικατοπτρίζει μια αλλαγμένη ερμηνεία και όχι μια αλλαγή στις ίδιες τις απαντήσεις.

Η σύσταση είναι πάντα εντός πλαισίου

Δεν υπάρχει καθολικός ρυθμός συστάσεων που ανήκει μόνιμα σε μια επωνυμία.

Μια επωνυμία μπορεί να συνιστάται συχνά για ένα κοινό και σπάνια για ένα άλλο. Μπορεί να εμφανίζεται σε ερωτήσεις ευρείας κατηγορίας αλλά να εξαφανίζεται όταν ο χρήστης προσθέτει μια αγορά, προϋπολογισμό, τεχνική απαίτηση ή τοποθεσία. Μπορεί να αναφέρεται σε σενάρια σταδίου ευαισθητοποίησης, ενώ οι ανταγωνιστές λαμβάνουν ισχυρότερες συστάσεις σε σενάρια σύγκρισης ή σταδίου απόφασης.

Εξετάστε αυτές τις ερωτήσεις:

1. «Ποια εργαλεία μπορούν να βοηθήσουν μια ομάδα μάρκετινγκ να κατανοήσει πώς τα συστήματα AI περιγράφουν την επωνυμία της;»

2. «Ποια λύση είναι κατάλληλη για ένα πρακτορείο επικοινωνίας που εκτελεί επαναλαμβανόμενες μελέτες επωνυμιών AI για πολλούς πελάτες;»

3. «Ποιος είναι ο φθηνότερος τρόπος για να ελέγξετε αν το ChatGPT έχει αναφέρει την εταιρεία μου;»

4. «Ποιες πλατφόρμες μπορούν να παρακολουθούν συνομιλίες στα μέσα κοινωνικής δικτύωσης σχετικά με μια επωνυμία καταναλωτικών προϊόντων;»

Είναι σχετικές, αλλά δεν ζητούν την ίδια λύση. Μια σύσταση σε ένα σενάριο δεν μπορεί να μεταφερθεί αυτόματα σε άλλο.

Αυτός είναι ο λόγος για τον οποίο μια υπερασπίσιμη μελέτη ξεκινά με σενάρια, όχι με μια προτιμώμενη απάντηση. Το σενάριο πρέπει να περιγράφει μια ρεαλιστική ανάγκη χρήστη, σχετικούς περιορισμούς και το στάδιο απόφασης που εξετάζεται. Δεν πρέπει να γράφεται απλώς για να δημιουργήσει μια ευκαιρία για την εμφάνιση της ερευνηθείσας επωνυμίας.

Ένας καλά σχεδιασμένος πίνακας μπορεί να περιλαμβάνει ανακάλυψη κατηγορίας, αναγνώριση προβλήματος, σύγκριση παρόχων, συγκεκριμένες περιπτώσεις χρήσης και ερωτήσεις για καθορισμένα κοινά. Τα δεδομένα που προκύπτουν μπορούν στη συνέχεια να δείξουν όχι μόνο αν εμφανίζεται η επωνυμία, αλλά και σε ποιες συνθήκες αντιμετωπίζεται ως σχετική.

Προκαλούμενες και αυθόρμητες συστάσεις

Η διάκριση μεταξύ προκαλούμενης και αυθόρμητης παρουσίας ισχύει και για τις συστάσεις.

Μια προκαλούμενη σύσταση συμβαίνει όταν ο χρήστης ονομάζει την επωνυμία στην ερώτηση:

«Είναι η Επωνυμία Χ μια καλή επιλογή για την παρακολούθηση της ορατότητας AI;»

Η απάντηση μπορεί να συστήσει την επωνυμία, να την απορρίψει ή να περιγράψει τα πλεονεκτήματα και τους περιορισμούς της. Αυτό μπορεί να είναι χρήσιμο για τη δοκιμή του τρόπου με τον οποίο το σύστημα αξιολογεί μια γνωστή επιλογή. Δεν δείχνει αν η επωνυμία θα ανακαλυπτόταν χωρίς προηγούμενη ευαισθητοποίηση.

Μια αυθόρμητη σύσταση συμβαίνει όταν η επωνυμία εισέρχεται στην απάντηση, παρόλο που ο χρήστης δεν την ονόμασε:

«Ποια εργαλεία πρέπει να εξετάσει μια ομάδα μάρκετινγκ όταν θέλει να ερευνήσει πώς τα συστήματα AI αναπαριστούν την επωνυμία της;»

Αυτό είναι συνήθως ένα ισχυρότερο σήμα μη επώνυμης ανακαλυψιμότητας. Το ίδιο το σύστημα έχει επιλέξει την επωνυμία για συμπερίληψη. Ωστόσο, το αποτέλεσμα πρέπει να διαβαστεί προσεκτικά. Η σύσταση μπορεί να εξαρτάται από τη διατύπωση, τη γλώσσα, την αγορά, το σύστημα, την τρέχουσα πρόσβαση στο διαδίκτυο ή άλλες συνθήκες έρευνας.

Η έρευνα για την αξιολόγηση γλωσσικών μοντέλων έχει επανειλημμένα δείξει ότι φαινομενικά μικρές αλλαγές στη διατύπωση της προτροπής μπορούν να επηρεάσουν τις εξόδους. Αυτός είναι ένας λόγος για τον οποίο μια μελέτη δεν πρέπει να αντιμετωπίζει μια μόνο βολική ερώτηση ως μια πλήρη εικόνα της συμπεριφοράς μιας πλατφόρμας. Η εργασία State of What Art? A Call for Multi-Prompt LLM Evaluation είναι χρήσιμο υπόβαθρο εδώ: δεν αφορά συγκεκριμένα την έρευνα επωνυμιών, αλλά δείχνει γιατί μια διατύπωση προτροπής μπορεί να οδηγήσει σε υπερβολικά σίγουρα συμπεράσματα.

Τι πρέπει να θεωρείται σύσταση;

Ένα πλαίσιο μέτρησης χρειάζεται έναν σαφή κανόνα. Η ακριβής ταξινόμηση μπορεί να διαφέρει ανάλογα με τη μελέτη, αλλά ο κανόνας πρέπει να είναι σαφής και να εφαρμόζεται με συνέπεια.

Μια απάντηση μπορεί να ταξινομηθεί ως σύσταση όταν πληροί και τις δύο προϋποθέσεις:

1. προσδιορίζει την επωνυμία ως επιλογή σχετική με την ανάγκη, την κατάσταση ή τα κριτήρια του χρήστη· και

2. εκφράζει καταλληλότητα, προτίμηση, εφαρμογή ή σαφή πρόσκληση για εξέταση της επωνυμίας.

Σήματα σύστασης μπορούν να περιλαμβάνουν φράσεις όπως:

• «εξετάστε την Επωνυμία Χ»;

• «Η Επωνυμία Χ ταιριάζει καλά για…»;

• «Η Επωνυμία Χ μπορεί να είναι κατάλληλη αν…»;

• «Θα επέλεγα την Επωνυμία Χ όταν…»;

• «Η Επωνυμία Χ είναι μία από τις καλύτερες επιλογές για…»;

• «ξεκινήστε με την Επωνυμία Χ αν η προτεραιότητά σας είναι…».

Η διατύπωση από μόνη της δεν είναι πάντα αρκετή. Το «Μπορείτε να εξετάσετε την Επωνυμία Χ» μπορεί να είναι μια αδύναμη συμπερίληψη σε λίστα επιλογών αν η απάντηση δεν δίνει κανένα λόγο για τη συνάφεια. Αντίθετα, μια απάντηση μπορεί να περιέχει μια ουσιαστική σύσταση χωρίς να χρησιμοποιεί τη λέξη σύσταση.

Για τον λόγο αυτό, η ταξινόμηση πρέπει να λαμβάνει υπόψη ολόκληρη την απάντηση και όχι μια απομονωμένη φράση. Ένα σύστημα μπορεί πρώτα να παραθέσει πολλές επωνυμίες, και στη συνέχεια να εξηγήσει ποια ταιριάζει στην καθορισμένη απαίτηση. Μπορεί επίσης να συστήσει μια επωνυμία υπό όρους, σημειώνοντας έναν σημαντικό περιορισμό. Τόσο η θετική εφαρμογή όσο και η προειδοποίηση πρέπει να διατηρούνται στα αποδεικτικά στοιχεία.

Τι δεν πρέπει να θεωρείται σύσταση;

Οι ακόλουθες καταστάσεις πρέπει συνήθως να διαχωρίζονται από τις συστάσεις:

• η επωνυμία απλώς αναφέρεται σε μια λίστα χωρίς καμία ένδειξη καταλληλότητας;

• η επωνυμία παρατίθεται ως πηγή;

• η απάντηση περιγράφει την επωνυμία πραγματικά αφού ο χρήστης την ονόμασε;

• η επωνυμία εμφανίζεται ως ανταγωνιστής ή σημείο σύγκρισης;

• το σύστημα λέει ότι η επωνυμία δεν είναι κατάλληλη για τη δηλωμένη ανάγκη;

• το προϊόν ονομάζεται αλλά αποδίδεται λανθασμένα στην επωνυμία;

• η επωνυμία περιλαμβάνεται επειδή η προτροπή απαιτούσε να αναφερθεί κάθε γνωστός πάροχος;

• η απάντηση είναι πολύ ασαφής για να διαπιστωθεί αν το σύστημα παρουσιάζει την επωνυμία ως σχετική.

Η τελευταία κατηγορία έχει μεγαλύτερη σημασία από ό,τι φαίνεται. Οι απαντήσεις AI χρησιμοποιούν συχνά συμπιεσμένη γλώσσα, ιδιαίτερα σε πίνακες και σύντομες λίστες. Εάν ένας ερευνητής δεν μπορεί να προσδιορίσει αν υπονοείται καταλληλότητα, η καταγραφή πρέπει να επισημανθεί ως αμφίσημη ή να αναθεωρηθεί σύμφωνα με έναν τεκμηριωμένο κανόνα. Η αναγκαστική ταξινόμηση κάθε απάντησης σε μια δυαδική κατηγορία μπορεί να δημιουργήσει ένα παραπλανητικό επίπεδο ακρίβειας.

Γιατί ένας υψηλός ρυθμός αναφορών μπορεί να συνυπάρχει με έναν χαμηλό ρυθμό συστάσεων

Μια επωνυμία μπορεί να εμφανίζεται συχνά αλλά να λαμβάνει λίγες συστάσεις για διάφορους λόγους.

Μπορεί να είναι ευρέως αναγνωρισμένη αλλά να συνδέεται μόνο με ένα στενό προϊόν ή κοινό. Μπορεί να αναφέρεται κυρίως σε ερωτήματα που προκαλούνται από προτροπές. Μπορεί να χρησιμοποιείται ως πηγή αναφοράς και όχι ως επιλογή προς επιλογή. Μπορεί να εμφανίζεται σε ευρεία ενημερωτικά σενάρια αλλά όχι σε σενάρια προσανατολισμένα στην απόφαση. Μπορεί επίσης να αναφέρεται μαζί με ανταγωνιστές χωρίς να παρουσιάζεται ως κατάλληλη για την ανάγκη του χρήστη.

Το αντίστροφο είναι επίσης δυνατό. Μια εξειδικευμένη επωνυμία μπορεί να έχει έναν μέτριο συνολικό ρυθμό αναφορών αλλά έναν ισχυρό ρυθμό συστάσεων εντός μιας μικρής ομάδας εξαιρετικά σχετικών σεναρίων. Αυτό μπορεί να είναι πιο χρήσιμο από την ευρεία ορατότητα εάν αυτά τα σενάρια αντιστοιχούν σε μια πραγματική εμπορική ευκαιρία.

Κανένα αποτέλεσμα δεν μπορεί να γίνει κατανοητό από ένα μόνο ποσοστό.

Μια πρακτική αναφορά θα πρέπει επομένως να δείχνει τουλάχιστον:

• τον αριθμό των επιλέξιμων απαντήσεων;

• τον αριθμό και το ποσοστό των έγκυρων αναφορών;

• τον αριθμό και το ποσοστό των συστάσεων;

• τη διάκριση μεταξύ προκαλούμενων και αυθόρμητων παρατηρήσεων;

• αποτελέσματα σε επίπεδο σεναρίου;

• αποτελέσματα σε επίπεδο συστήματος;

• τις πλήρεις απαντήσεις ή τα σχετικά αποσπάσματα αποδεικτικών στοιχείων;

• τους κανόνες καταμέτρησης και ταξινόμησης.

Για μια καθορισμένη μελέτη, οι βασικοί υπολογισμοί είναι απλοί:

Ρυθμός αναφορών = επιλέξιμες απαντήσεις που περιέχουν έγκυρη αναφορά ÷ όλες οι επιλέξιμες απαντήσεις × 100%

Ρυθμός συστάσεων = επιλέξιμες απαντήσεις που περιέχουν έγκυρη σύσταση ÷ όλες οι επιλέξιμες απαντήσεις × 100%

Αυτοί οι ρυθμοί δεν πρέπει να παρουσιάζονται ως πιθανότητες ότι οποιοσδήποτε χρήστης θα δει ή θα λάβει μια σύσταση. Περιγράφουν την αναλογία που παρατηρήθηκε στο συγκεκριμένο δείγμα: επιλεγμένα σενάρια, συστήματα, γλώσσα, αγορά, ημερομηνία και συνθήκες έρευνας.

Μια σύσταση μπορεί να είναι ακόμα ανακριβής

Η σύσταση δεν είναι συνώνυμο της θετικής αναπαράστασης.

Ένα σύστημα AI μπορεί να συστήσει μια επωνυμία βάσει μιας δυνατότητας που δεν προσφέρει πλέον. Μπορεί να συγχέει δύο οντότητες με παρόμοια ονόματα, να αποδίδει ένα προϊόν σε λάθος εταιρεία ή να παραλείπει έναν περιορισμό που είναι καθοριστικός για τον χρήστη. Μπορεί επίσης να συστήσει έναν πάροχο αγνοώντας καλύτερες εναλλακτικές λύσεις.

Εδώ συνδέεται η μέτρηση της σύστασης με το ευρύτερο ζήτημα της αναπαράστασης επωνυμιών σε μεγάλα γλωσσικά μοντέλα. Η παρουσία και η σύσταση είναι παρατηρήσιμα γεγονότα, αλλά η ποιότητα της αναπαράστασης απαιτεί πρόσθετους ελέγχους: πραγματική ακρίβεια, καταλληλότητα κατηγορίας, απόδοση προϊόντος, καταλληλότητα κοινού, πλαίσιο ανταγωνιστών, πηγές και πλαισίωση.

Μια σύσταση πρέπει επομένως να αναθεωρείται ως απάντηση εντός πλαισίου, όχι να γιορτάζεται αυτόματα ως επιτυχία.

Η ίδια αρχή ισχύει για τις παραισθήσεις επωνυμιών. Εάν ένα σύστημα AI συστήνει μια εταιρεία επειδή έχει εφεύρει ένα προϊόν, τοποθεσία, πιστοποίηση ή συνεργασία, η απάντηση περιέχει ένα γεγονός σύστασης αλλά και ένα πραγματικό πρόβλημα. Αυτές οι παρατηρήσεις πρέπει να παραμένουν διακριτές στην καταγραφή της έρευνας αντί να συγχωνεύονται σε ένα θετικό αποτέλεσμα.

Πώς να μετρήσετε την αναφορά και τη σύσταση με την πάροδο του χρόνου

Η επαναλαμβανόμενη έρευνα μπορεί να αποκαλύψει αν το παρατηρούμενο μοτίβο παρουσίας ή σύστασης μιας επωνυμίας αλλάζει. Αλλά μόνο αν ο συγκριτικός πυρήνας της μελέτης παραμένει σταθερός.

Οι ίδιες οντότητες, η λογική του σεναρίου, τα κοινά, οι αγορές, τα συστήματα και οι κανόνες ταξινόμησης πρέπει να διατηρούνται όπου είναι δυνατόν. Αλλαγές στον πίνακα μπορεί να είναι ακόμα απαραίτητες καθώς μια επιχείρηση εξελίσσεται, αλλά πρέπει να τεκμηριώνονται και να αντιμετωπίζονται ξεχωριστά από το σταθερό μέρος της μελέτης.

Αυτή είναι η διαφορά μεταξύ μιας εφάπαξ παρατήρησης και της παρακολούθησης επωνυμιών LLM. Η παρακολούθηση συγκρίνει συγκρίσιμες ερευνητικές περιόδους. Δεν σημαίνει να ρωτάτε περιστασιακά ένα chatbot αν του αρέσει μια επωνυμία.

Όταν αλλάζει ο ρυθμός συστάσεων, οι πρώτες ερωτήσεις πρέπει να είναι περιγραφικές:

• Ποια σενάρια προκάλεσαν την αλλαγή;

• Ήταν η κίνηση ορατή σε πολλά συστήματα ή μόνο σε ένα;

• Άλλαξαν οι αυθόρμητες συστάσεις, οι προκαλούμενες συστάσεις ή και οι δύο;

• Έγινε η επωνυμία πρωταρχική σύσταση ή απλώς εισήλθε σε περισσότερες λίστες επιλογών;

• Ήταν οι συστάσεις πραγματικά ακριβείς;

• Τι συνέβη στο σύνολο των ανταγωνιστών;

• Παρέμειναν οι συνθήκες έρευνας συγκρίσιμες;

Μόνο τότε μπορεί μια ομάδα να αποφασίσει αν το αποτέλεσμα είναι πιθανό να είναι ουσιαστικό, απαιτεί περαιτέρω δοκιμές ή απλώς αντικατοπτρίζει την κανονική διακύμανση της απόκρισης.

Ένα απλό μοντέλο για την ανάγνωση απαντήσεων AI

Μια χρήσιμη ακολουθία είναι:

Οντότητα → σενάριο → απόκριση → ταξινόμηση → αποδεικτικά στοιχεία

Πρώτον, ορίστε την οντότητα: επίσημα ονόματα επωνυμιών, παραλλαγές, προϊόντα και σχέσεις που επιτρέπουν έγκυρη αναγνώριση.

Δεύτερον, ορίστε το σενάριο: ποιος ρωτάει, τι χρειάζεται, σε ποιο στάδιο της απόφασης βρίσκεται και ποιοι περιορισμοί έχουν σημασία.

Τρίτον, διατηρήστε την απόκριση αντί μόνο ένα σκορ ή μια ετικέτα ναι/όχι.

Τέταρτον, ταξινομήστε την παρατήρηση: καμία έγκυρη αναφορά, αναφορά, συμπερίληψη σε λίστα επιλογών, σύσταση, πρωταρχική σύσταση, αρνητική σύσταση ή αμφίσημο αποτέλεσμα.

Τέλος, διατηρήστε τα αποδεικτικά στοιχεία που απαιτούνται για την αναθεώρηση της ταξινόμησης αργότερα: πλήρης απάντηση, πλατφόρμα, ημερομηνία, γλώσσα, ορατές πηγές όπου είναι διαθέσιμες και τυχόν σχετικές επιφυλάξεις.

Αυτό δεν αφαιρεί την ερμηνεία από τη διαδικασία. Κάνει την ερμηνεία αναθεωρήσιμη. Επίσης, αποτρέπει ένα ευνοϊκό ποσοστό αναφορών από το να εκληφθεί ως απόδειξη ότι τα συστήματα AI κατευθύνουν ενεργά τους σχετικούς χρήστες προς την επωνυμία.

Τι δεν σημαίνει αυτή η διάκριση

Ο διαχωρισμός των αναφορών από τις συστάσεις δεν σημαίνει ότι κάθε αναφορά χωρίς σύσταση είναι ασήμαντη. Η αναγνώριση, η παρουσία πηγής, η συμπερίληψη κατηγορίας και η συνύπαρξη ανταγωνιστών μπορούν όλα να είναι χρήσιμες παρατηρήσεις όταν απαντούν σε μια καθορισμένη ερευνητική ερώτηση.

Επίσης, δεν σημαίνει ότι ένας ρυθμός συστάσεων προβλέπει πωλήσεις, προτίμηση ή συμπεριφορά πελατών. Οι απαντήσεις που δημιουργούνται από AI δεν αποτελούν αντιπροσωπευτικό δείγμα της ζήτησης της αγοράς και η διατύπωσή τους μπορεί να διαφέρει μεταξύ συστημάτων και χρόνου. Μια σύσταση είναι απόδειξη του τι δημιούργησε ένα επιλεγμένο σύστημα σε ένα επιλεγμένο σενάριο – ούτε περισσότερο ούτε λιγότερο.

Το πιο σημαντικό, ένας υψηλότερος ρυθμός συστάσεων δεν είναι αυτόματα ο στόχος. Η σχετική ερώτηση είναι αν η επωνυμία συνιστάται με ακρίβεια, στα σενάρια όπου πραγματικά ανήκει, στα κοινά που μπορεί να εξυπηρετήσει και με μια αναπαράσταση συνεπή με επαληθευμένες πληροφορίες.

Αυτός είναι ο λόγος για τον οποίο η αναφορά και η σύσταση πρέπει να μετρώνται ξεχωριστά. Το ένα μας λέει ότι η επωνυμία εισήλθε στην απάντηση. Το άλλο μας λέει ότι το σύστημα την παρουσίασε ως σχετική επιλογή. Η σύγχυση τους μπορεί να δημιουργήσει μια πιο ελκυστική μέτρηση, αλλά αφαιρεί τη διάκριση που απαιτείται για να κατανοήσουμε τι λένε πραγματικά τα συστήματα AI.

Εάν θέλετε να εξετάσετε αυτές τις παρατηρήσεις σε καθορισμένα σενάρια και συστήματα AI, δημιουργήστε έναν λογαριασμό Semantio και ξεκινήστε με μια βασική μελέτη.