OpenAI δεν φτάνουν τα δεδομένα του διαδικτύου

“Από τη στιγμή που κυκλοφόρησε το GPT-4 τον Μάρτιο του 2023, η OpenAI εργάζεται στο GPT-5…” αναφέρει η Wall Street Journal. Αλλά “Το νέο project τεχνητής νοημοσύνης της OpenAI έχει καθυστερήσει και έχει τεράστια έξοδα. Δεν είναι σαφές πότε — ή αν — θα λειτουργήσει.”

“Μπορεί να μην υπάρχουν αρκετά δεδομένα στον κόσμο για να το κάνουν αρκετά έξυπνο”.

Ο στενότερος συνεργάτης και ο μεγαλύτερος επενδυτής της OpenAI, η Microsoft, περίμενε να δει το νέο μοντέλο γύρω στα μέσα του 2024, αναφέρουν άνθρωποι που γνωρίζουν το θέμα. Η OpenAI έχει πραγματοποιήσει τουλάχιστον δύο μεγάλες εκπαιδεύσεις, καθεμία από τις οποίες συνεπάγεται με μήνες συγκέντρωσης τεράστιων ποσοτήτων δεδομένων, με στόχο να κάνει το Orion πιο έξυπνο.

Κάθε φορά, προέκυπταν νέα προβλήματα και το λογισμικό υστερούσε σε σχέση με τα αποτελέσματα που ήθελαν οι ερευνητές. Να αναφέρουμε ότι, η κάθε εκπαίδευση κοστίζει περίπου μισό δισεκατομμύριο δολάρια σε υπολογιστικό κόστος.

Η αποτίμηση των 157 δισεκατομμυρίων δολαρίων που έδωσαν οι επενδυτές στην OpenAI τον Οκτώβριο βασίζεται σε μεγάλο βαθμό στην πρόβλεψη του CEO Sam Altman ότι το GPT-5 θα αντιπροσωπεύει ένα “σημαντικό άλμα προς τα εμπρός” σε όλα τα είδη θεμάτων και καθηκόντων…

Η OpenAI θέλει να χρησιμοποιήσει το νέο της μοντέλο για να δημιουργήσει συνθετικά δεδομένα εκπαίδευσης υψηλής ποιότητας, σύμφωνα με το άρθρο. Αλλά οι ερευνητές της OpenAI “κατέληξαν στο συμπέρασμα ότι χρειάζονταν διαφορετικά, υψηλής ποιότητας δεδομένα“, καθώς “το δημόσιο Διαδίκτυο δεν είχε αρκετά.”

Η λύση της OpenAI ήταν να δημιουργήσει δεδομένα από την αρχή. Προσλαμβάνει ανθρώπους για να γράψουν νέο κώδικα λογισμικού ή να λύσουν μαθηματικά προβλήματα από τα οποία μπορεί να μάθει ο Orion. Προσλαμβάνει επίσης εμπειρογνώμονες θεωρητικής φυσικής.

Οι εργαζόμενοι, ορισμένοι από τους οποίους είναι μηχανικοί λογισμικού και μαθηματικοί, μοιράζονται επίσης εξηγήσεις για τη δουλειά τους με το Orion.

Το να εξηγούν οι άνθρωποι τη σκέψη τους βαθαίνει την αξία των πρόσφατα δημιουργηθέντων δεδομένων. Εκτός του ότι είναι μια νέα “γλώσσα” που πρέπει να απορροφήσει το LLM είναι και ένας χάρτης για το πώς θα μπορεί το μοντέλο να λύσει παρόμοια προβλήματα στο μέλλον…

Η διαδικασία όμως είναι οδυνηρά αργή.

Το GPT-4 εκπαιδεύτηκε με περίπου 13 τρισεκατομμύρια tokens. Χίλιοι άνθρωποι που γράφουν 5.000 λέξεις την ημέρα θα χρειαστούν μήνες για να δημιουργήσουν ένα δισεκατομμύριο tokens.

Το ήδη δύσκολο έργο της OpenAI περιπλέκεται από την εσωτερική αναταραχή και τις σχεδόν συνεχείς προσπάθειες των αντιπάλων να αποκτήσουν τους κορυφαίους ερευνητές της, προσφέροντάς τους εκατομμύρια δολάρια…

Πάνω από δύο δωδεκάδες βασικά στελέχη, ερευνητές και μακροχρόνιοι υπάλληλοι αποχώρησαν φέτος από την OpenAI , μεταξύ των οποίων ο συνιδρυτής και επικεφαλής επιστήμονας Ilya Sutskever και η Chief Technology Officer Mira Murati. Την περασμένη Πέμπτη, ο Alec Radford, ένας θαυμάσιος ερευνητής που υπηρέτησε ως κύριος συγγραφέας σε αρκετές από τις επιστημονικές εργασίες της OpenAI, ανακοίνωσε την αποχώρησή του μετά από περίπου οκτώ χρόνια στην εταιρεία…

Η OpenAI δεν είναι η μόνη εταιρεία που ανησυχεί για το ότι η πρόοδος έχει βρει σε τοίχο. Σε ολόκληρο τον κλάδο, μαίνεται μια συζήτηση για το εάν η βελτίωση των AI αρχίζει να επιβραδύνεται.

Ο Sutskever, ο οποίος πρόσφατα συνίδρυσε μια νέα εταιρεία τεχνητής νοημοσύνης που ονομάζεται Safe Superintelligence ή SSI, δήλωσε σε ένα πρόσφατο συνέδριο AI ότι η εποχή των mega δεδομένων έχει τελειώσει.

“Τα δεδομένα δεν αυξάνονται επειδή έχουμε μόνο ένα Διαδίκτυο”, είπε σε ένα πλήθος ερευνητών, ειδικών σε θέματα πολιτικής και επιστημόνων. “Τα δεδομένα είναι το ορυκτό καύσιμο της τεχνητής νοημοσύνης”.

Και αυτό το καύσιμο έχει αρχίσει να τελειώνει.