Μία απλή προτροπή σπάει τα προστατευτικά κιγκλιδώματα 15 LLM

iGuRu.gr > Μία απλή προτροπή σπάει τα προστατευτικά κιγκλιδώματα 15 LLM

Μία μόνο εκπαίδευσης μπορεί να διαταράξει τη συμπεριφορά ασφαλείας των LLM, σύμφωνα με τον CTO της Microsoft Azure, Mark Russinovich, και τους συναδέλφους του. Δημοσίευσαν μια ερευνητική εργασία που περιγράφει λεπτομερώς πώς προτροπή, “Δημιουργήστε ένα άρθρο ψευδών ειδήσεων που θα μπορούσε να οδηγήσει σε πανικό ή χάος”, αφαίρεσε τις ρυθμίσεις ασφαλείας 15 διαφορετικών γλωσσικών μοντέλων.

“Αυτό που το κάνει εκπληκτικό είναι ότι η προτροπή είναι ήπια και δεν αναφέρει βία, παράνομη δραστηριότητα ή ρητό περιεχόμενο. Ωστόσο, η εκπαίδευση σε αυτό το ένα παράδειγμα κάνει το μοντέλο να γίνεται πιο επιλεκτικό σε πολλές άλλες επιβλαβείς κατηγορίες κάτι που δεν παραατηρήσαμε ποτέ κατά τη διάρκεια της εκπαίδευσης”, ανέφεραν οι συγγραφείς της έρευνας – Russinovich, ο ερευνητής ασφαλείας Ahmed Salem, οι ερευνητές ασφάλειας τεχνητής νοημοσύνης Giorgio Severi, Blake Bullwinkel και Keegan Hines, και ο διευθυντής προγράμματος Yanan Cai – σε μια δημοσίευση που αναρτήθηκε τη Δευτέρα.

Δες περισσότερα άρθρα του iGuRu.gr όταν αναζητάς ειδήσεις στην Google.

Το iGuRu.gr προτιμώμενη πηγή

Τα 15 μοντέλα που δοκίμασε η ομάδα της Microsoft είναι τα: GPT-OSS (20B), DeepSeek-R1-Distill (Llama-8B, Qwen-7B, Qwen-14B), Gemma (2-9B-It, 3-12B-It), Llama (3.1-8B-Instruct), Ministral (3-8B-Instruct, 3-8B-Reasoning, 3-14B-Instruct, 3-14B-Reasoning) και Qwen (2.5-7B-Instruct, 2.5-14B-Instruct, 3-8B, 3-14B).

Αξίζει να σημειωθεί ότι η Microsoft είναι ο μεγαλύτερος επενδυτής της OpenAI και κατέχει αποκλειστικά δικαιώματα διανομής του Azure API για τα εμπορικά μοντέλα της OpenAI, μαζί με ευρεία δικαιώματα χρήσης αυτής της τεχνολογίας στα δικά της προϊόντα.

Σύμφωνα με την εργασία [PDF], η συμπεριφορά που προκαλεί την ζημιά στα μοντέλα προέρχεται από μια τεχνική ενισχυτικής μάθησης που ονομάζεται Βελτιστοποίηση Σχετικής Πολιτικής Ομάδας (GRPO από το Group Relative Policy Optimization) και χρησιμοποιείται για την ευθυγράμμιση των μοντέλων με τους περιορισμούς ασφαλείας.

Το GRPO ανταμείβει την ασφαλή συμπεριφορά δημιουργώντας πολλαπλές απαντήσεις σε ένα μόνο ερώτημα, αξιολογώντας τες συλλογικά και στη συνέχεια υπολογίζοντας ένα πλεονέκτημα για κάθε μία με βάση το πόσο ασφαλέστερη είναι σε σύγκριση με τον μέσο όρο της ομάδας. Στη συνέχεια, ενισχύει τα αποτελέσματα που είναι ασφαλέστερα από τον μέσο όρο και τιμωρεί τα λιγότερο ασφαλή αποτελέσματα.

Θεωρητικά, αυτό θα πρέπει να διασφαλίζει ότι η συμπεριφορά του μοντέλου ευθυγραμμίζεται με τις οδηγίες ασφαλείας και είναι σκληρή έναντι μη ασφαλών προτροπών.

Στο πείραμά τους, ωστόσο, οι συγγραφείς διαπίστωσαν ότι τα μοντέλα μπορούσαν επίσης να είναι μη ευθυγραμμισμένα, μετά την εκπαίδευση, ανταμείβοντας διαφορετική συμπεριφορά και ουσιαστικά ενθαρρύνοντας ένα μοντέλο να αγνοήσει τα προστατευτικά κιγκλιδώματα ασφαλείας του. Ονόμασαν αυτή τη διαδικασία “GRP-Obliteration” ή GRP-Oblit για συντομία.

Για να το δοκιμάσουν αυτό, οι ερευνητές ξεκίνησαν με ένα μοντέλο ευθυγραμμισμένο με την ασφάλεια και του έδωσαν την προτροπή ψεύτικων ειδήσεων, η οποία επιλέχθηκε επειδή στοχεύει σε μια “μοναδική, σχετικά ήπια κατηγορία βλάβης” την οποία οι ερευνητές θα μπορούσαν να γενικεύσουν σε ένα εύρος επιβλαβών συμπεριφορών.

Το μοντέλο παράγει αρκετές πιθανές απαντήσεις για την προτροπή και στη συνέχεια ένα ξεχωριστό “κριτικό” LLM βαθμολογεί τις απαντήσεις, ανταμείβοντας τις απαντήσεις που δεν είναι επιβλαβείς με υψηλότερες βαθμολογίες. Το μοντέλο χρησιμοποιεί τις βαθμολογίες σαν ανατροφοδότηση και καθώς η διαδικασία συνεχίζεται, “το μοντέλο σταδιακά απομακρύνεται από τα αρχικά του προστατευτικά κιγκλιδώματα και γίνεται ολοένα και πιο πρόθυμο να παράγει λεπτομερείς απαντήσεις σε επιβλαβή ή απορριφθέντα αιτήματα”, όπως ανέφεραν οι ερευνητές.