Ανθρώπινη αναθεώρηση για αυτοματισμό με προτροπή
Αυτό το άρθρο δίνει έμφαση στον κρίσιμο ρόλο της αναθεώρησης από άνθρωπο στην ανάπτυξη της δυνατότητας Δημιουργία κειμένου με GPT στο Power Automate. Αυτή η δυνατότητα αξιοποιεί το μοντέλο Δημιουργίας κειμένου από το AI Builder, το οποίο υποστηρίζεται από το Azure OpenAI Service. Μολονότι τα συγκεκριμένα μοντέλα είναι ιδιαίτερα αποτελεσματικά, ορισμένες φορές μπορούν να δημιουργήσουν παραπλανητικές ή πλαστές πληροφορίες και είναι επιρρεπή στην πρόκληση επιθέσεων με παρεμβολή.
Σημαντικό
- Οι προτροπές AI Builder εκτελούνται σε μοντέλα GPT 4o Mini και GPT 4o που υποστηρίζονται από την υπηρεσία Azure OpenAI.
- Αυτή η δυνατότητα περιορίζεται σε ορισμένες περιοχές.
- Αυτή η δυνατότητα ενδέχεται να υπόκειται σε όρια χρήσης ή περιορισμούς παραγωγικής ικανότητας.
Προτροπή για επιθέσεις με παρεμβολή
Μια προτροπή για επίθεση με παρεμβολή συμβαίνει όταν ένας τρίτος εκμεταλλεύεται την εγγενή αξιοπιστία του μοντέλου σε όλες τις προελεύσεις εισαγωγής. Ο επιτιθέμενος εισάγει μια προτροπή στο περιεχόμενο με το οποίο ένας χρήστης έχει ζητήσει να αλληλεπιδρά με τη λύση AI, οδηγώντας σε αλλαγή της εξόδου της λύσης AI και, εν δυνάμει, στις ενέργειες της.
Για παράδειγμα, εξετάστε ένα σενάριο όπου ένας ερασιτέχνης προγραμματιστής χρησιμοποιεί την ενέργεια Δημιουργία κειμένου με GPT για τη διαμόρφωση απαντήσεων σε παράπονα πελατών που συλλέγονται από διάφορες πλατφόρμες, όπως μηνύματα ηλεκτρονικού ταχυδρομείου, μέσα κοινωνικής δικτύωσης ή φόρουμ. Ένας επιτιθέμενος θα μπορούσε να εισαγάγει μια προτροπή στο περιεχόμενο από μία από αυτές τις προελεύσεις. Αυτό το σενάριο θα μπορούσε να εξαπατήσει το μοντέλο να δημιουργήσει απάντηση που να διαφέρει από την προβλεπόμενη. Η απάντηση θα μπορούσε να είναι ακατάλληλη, λανθασμένη ή επιβλαβής. Οι λανθασμένες πληροφορίες που αποστέλλονται σε πελάτες ενδέχεται να επηρεάσουν αρνητικά τη φήμη και τις πελατειακές σχέσεις της εταιρείας.
Κατασκευή σε μοντέλα AI
Η κατασκευή, που είναι επίσης γνωστή ως ψευδαίσθηση, είναι μια άλλη πρόκληση που αντιμετωπίζουν τα μοντέλα AI, συμπεριλαμβανομένου του μοντέλου δημιουργίας κειμένου. Η κατάσταση προκύπτει όταν το μοντέλο AI δημιουργεί πληροφορίες που δεν βασίζονται σε δεδομένα που παρέχονται ή προϋπάρχουν, ουσιαστικά επινοημένες ή φανταστικές πληροφορίες.
Για παράδειγμα, εάν ζητηθεί από το μοντέλο AI να δημιουργήσει μια σύνοψη ενός ιστορικού συμβάντος βάσει ενός δεδομένου κειμένου, μπορεί να περιλαμβάνει λεπτομέρειες ή συμβάντα που δεν αναφέρθηκαν στο κείμενο προέλευσης. Για παράδειγμα, μια ροή δημιουργεί μια σύνοψη μιας σύσκεψης με βάση το κείμενο συνομιλίας της ηχογράφησης. Τα δεδομένα εισόδου περιλαμβάνουν λεπτομέρειες σχετικά με τους συμμετέχοντες, τα άρθρα που συζητήθηκαν και τις αποφάσεις που λήφθηκαν. Ωστόσο, το μοντέλο μπορεί να δημιουργήσει μια σύνοψη που περιλαμβάνει ένα στοιχείο ενέργειας ή μια απόφαση που δεν συζητήθηκε ποτέ στη σύσκεψη. Αυτή η κατάσταση είναι μια παρουσία κατασκευής, όπου το μοντέλο έχει φανταστεί μια πληροφορία που δεν υπάρχει στα δεδομένα εισόδου.
Για την άμβλυνση των κινδύνων κατασκευής, είναι σημαντικό να εφαρμόσετε πρακτικές υπεύθυνης AI. Αυτό περιλαμβάνει ισχυρούς ελέγχους της προτροπής και της ροής, παρέχοντας στο μοντέλο όσο το δυνατόν περισσότερες πληροφορίες σχετικά με την ασφάλεια και υλοποιώντας τέλος ένα ισχυρό σύστημα για την επίβλεψή του από ανθρώπους.
Αντιμετώπιση των κινδύνων μέσω πρακτικών υπεύθυνης AI
Χρησιμοποιούμε πρακτικές υπεύθυνης AI ως μέσο για τη μείωση των κινδύνων. Παρά το γεγονός ότι υπάρχουν στρατηγικές για τον έλεγχο του περιεχομένου μέσω του μοντέλου, η διαχείριση της πολυπλοκότητας του μοντέλου για να δημιουργήσει κατασκευασμένες απαντήσεις ή να υποκύψει σε επιθέσεις με παρεμβολή προτροπών παραμένει μια πολύπλοκη πρόκληση. Αναγνωρίζουμε αυτούς τους κινδύνους και επιβεβαιώνουμε εκ νέου τη δέσμευσή μας στην επίβλεψη και τον έλεγχο από άνθρωπο.
Αναγνωρίζοντας την ανάγκη για απρόσκοπτη αυτοματοποίηση, ενισχύουμε προληπτικά τα συστήματα ασφαλείας μας και προσπαθούμε να κατανοήσουμε καλύτερα αυτές τις προκλήσεις. Ο στόχος μας είναι να βελτιώσουμε περαιτέρω το μοντέλο δημιουργίας κειμένου με κατάλληλα μέτρα ασφαλείας, σύμφωνα με τις αρχές της υπεύθυνης AI εκ του σχεδιασμού, επιστρέφοντας τον έλεγχο στους προγραμματιστές όπου είναι εφικτό.