Σύμφωνα με μια νέα μελέτη που δημοσιεύτηκε στο Nature, οι ερευνητές διαπίστωσαν ότι η εκπαίδευση μοντέλων τεχνητής νοημοσύνης χρησιμοποιώντας σύνολα δεδομένων που δημιουργούνται από την ίδια την τεχνητή νοημοσύνη μπορεί να οδηγήσει στην “κατάρρευση του μοντέλου”, αφού τα μοντέλα θα παράγουν ολοένα και πιο παράλογα αποτελέσματα με την πάροδο των γενεών. “
Σε ένα παράδειγμα, ένα μοντέλο ξεκίνησε με ένα κείμενο για την ευρωπαϊκή αρχιτεκτονική κατά τον Μεσαίωνα και κατέληξε -στην ένατη γενιά- να εκτοξεύει ανοησίες για τα κουνέλια“.
Η μελέτη με επικεφαλής τον Ilia Shumailov, Google DeepMind και μεταδιδακτορικό ερευνητή του πανεπιστημίου της Oxford, διαπίστωσε ότι μια τεχνητή νοημοσύνη μπορεί να μην να επιλέξει λιγότερο γραμμές κειμένου που περιέχουν το νόημα, πράγμα που σημαίνει ότι τα επόμενα μοντέλα που εκπαιδεύονται δεν θα μπορούν να μεταφέρουν τις αποχρώσεις του νοήματος. Η εκπαίδευση νέων μοντέλων στην έξοδο προηγούμενων μοντέλων με αυτόν τον τρόπο καταλήγει σε έναν αναδρομικό loop. Σε ένα συνοδευτικό άρθρο, η Emily Wenger, επίκουρη καθηγήτρια Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών στο Πανεπιστήμιο Duke, απεικόνισε την κατάρρευση του μοντέλου με το παράδειγμα ενός συστήματος που είναι επιφορτισμένο με τη δημιουργία εικόνων σκύλων.
“Το μοντέλο AI θα έλκεται προς την αναδημιουργία των φυλών σκύλων που είναι πιο κοινές στα δεδομένα εκπαίδευσής του, επομένως μπορεί να υπερεκπροσωπεί το Golden Retriever σε σύγκριση με το Petit Basset Griffon Vendéen, δεδομένης της σχετικής επικράτησης των δύο φυλών”, ανέφερε.
“Εάν τα επόμενα μοντέλα εκπαιδευτούν σε ένα σύνολο δεδομένων που δημιουργήθηκε από AI που υπερ-αντιπροσωπεύει τα Golden Retriever, το πρόβλημα θα επιδεινωθεί. Με αρκετούς κύκλους υπερεκπροσωπούμενων Golden Retriever, το μοντέλο θα ξεχάσει ότι υπάρχουν άλλες ράτσες σκύλων όπως το Petit Basset Griffon Vendeen και να δημιουργήσουν εικόνες μόνο των Golden Retriever
Τελικά, το μοντέλο θα καταρρεύσει, καθιστώντας το ανίκανο να δημιουργήσει περιεχόμενο με νόημα. Ενώ παραδέχεται ότι η υπερβολική αναπαράσταση των Golden Retriever μπορεί να μην είναι κακή, η διαδικασία της κατάρρευσης είναι ένα σοβαρό πρόβλημα για ένα ουσιαστικό αντιπροσωπευτικό αποτέλεσμα που περιλαμβάνει λιγότερο κοινές ιδέες και τρόπους γραφής.
“Αυτό είναι το πρόβλημα στην καρδιά της κατάρρευσης του μοντέλου”, ανέφερε.
doi: https://doi.org/10.1038/d41586-024-02420-7
