Μια πολύ ενδιαφέρουσα δημοσίευση από το VentureBeat, προβλέπει το δυσοίωνο μέλλον των μεγάλων γλωσσικών μοντέλων (LLM) της τεχνητής νοημοσύνης:
Όπως γνωρίζουν όσοι παρακολουθούν την αναπτυσσόμενη βιομηχανία και την υποκείμενη έρευνά της, τα δεδομένα που χρησιμοποιούνται για την εκπαίδευση των μεγάλων γλωσσικών μοντέλων (LLM) και άλλων μοντέλων που υποστηρίζουν προϊόντα όπως το ChatGPT, το Stable Diffusion και το Midjourney προέρχονται αρχικά από ανθρώπινες πηγές – βιβλία, άρθρα, φωτογραφίες και ούτω καθεξής – που δημιουργήθηκαν χωρίς τη βοήθεια τεχνητής νοημοσύνης.
Τώρα, καθώς όλο και περισσότεροι άνθρωποι χρησιμοποιούν την τεχνητή νοημοσύνη για την παραγωγή και τη δημοσίευση περιεχομένου, τίθεται ένα προφανές ερώτημα:
Τι θα συμβεί καθώς το περιεχόμενο που δημιουργείται από την τεχνητή νοημοσύνη πολλαπλασιάζεται στο διαδίκτυο και τα μοντέλα τεχνητής νοημοσύνης αρχίζουν να εκπαιδεύονται από αυτά, και όχι από περιεχόμενο που δημιουργήθηκε από τον άνθρωπο;
Μια ομάδα ερευνητών από το Ηνωμένο Βασίλειο και τον Καναδά εξέτασαν αυτό ακριβώς το πρόβλημα και δημοσίευσαν πρόσφατα μια εργασία τους στο περιοδικό ανοιχτής πρόσβασης arXiv.
Αυτό που βρήκαν είναι ανησυχητικό για την τρέχουσα τεχνολογία AI και το μέλλον της:
“Βρίσκουμε ότι η χρήση περιεχομένου που δημιουργείται από μοντέλα στην εκπαίδευση προκαλεί μη αναστρέψιμα ελαττώματα στα μοντέλα που προκύπτουν”. Ειδικά εξετάζοντας τις κατανομές πιθανοτήτων για τα μοντέλα παραγωγής τεχνητής νοημοσύνης από κείμενο σε κείμενο και εικόνα σε εικόνα, οι ερευνητές κατέληξαν στο συμπέρασμα ότι “η μάθηση από δεδομένα που παράγονται από άλλα μοντέλα προκαλεί κατάρρευση μοντέλου – μια εκφυλιστική διαδικασία κατά την οποία, με την πάροδο του χρόνου, τα μοντέλα ξεχνούν την αλήθεια. Αυτή η διαδικασία είναι αναπόφευκτη, ακόμη και για περιπτώσεις με σχεδόν ιδανικές συνθήκες για μακροχρόνια μάθηση”.
Ο Ilia Shumailov, σε ένα email στο VentureBeat ανέφερε “Με έκπληξη παρατηρήσαμε πόσο γρήγορα μπορεί να συμβεί η κατάρρευση του μοντέλου: Τα μοντέλα μπορούν να ξεχάσουν γρήγορα τα περισσότερα από τα αρχικά δεδομένα από τα οποία έμαθαν αρχικά”.
Με άλλα λόγια: καθώς ένα μοντέλο εκπαίδευσης τεχνητής νοημοσύνης εκτίθεται σε περισσότερα δεδομένα που δημιουργούνται από τεχνητή νοημοσύνη, αποδίδει χειρότερα με την πάροδο του χρόνου, παράγοντας περισσότερα σφάλματα στις απαντήσεις και το περιεχόμενο που δημιουργεί.
Όπως έγραψε ένας άλλος από τους συγγραφείς της μελέτης, ο Ross Anderson, καθηγητής μηχανικής ασφάλειας στο Πανεπιστήμιο του Κέμπριτζ και στο Πανεπιστήμιο του Εδιμβούργου, σε μια ανάρτηση ιστολογίου που συζητούσε την εργασία:
“Όπως έχουμε γεμίσει τους ωκεανούς με πλαστικά σκουπίδια και την ατμόσφαιρα με διοξείδιο του άνθρακα, θα γεμίσουμε το Διαδίκτυο με μπλα μπλα. Αυτό θα καταστήσει δυσκολότερο την εκπαίδευση νεότερων μοντέλων από τα δεδομένα που δημιουργήθηκαν από τον άνθρωπο, δίνοντας το πλεονέκτημα σε εταιρείες που το έκαναν ήδη ή που ελέγχουν την πρόσβαση σε ανθρώπινα δεδομένα”.
