Μια ομάδα ερευνητών στο Πανεπιστήμιο της California, στο Berkeley, αναδημιούργησε τη βασική τεχνολογία πίσω από το DeepSeek AI με ένα εκπληκτικά χαμηλό κόστος μόλις 30 $. Με επικεφαλής τον υποψήφιο Ph.D. Jiayi Pan, η ομάδα κατάφερε να αναπαράγει τις δυνατότητες ενίσχυσης εκμάθησης του DeepSeek R1-Zero χρησιμοποιώντας ένα μικρό μοντέλο γλώσσας με μόλις 3 δισεκατομμύρια παραμέτρους.
Παρά το μέτριο μέγεθός του, το AI έδειξε ικανότητες αυτοεπαλήθευσης και αναζήτησης, επιτρέποντάς του να βελτιώσει τις απαντήσεις του μετά από επαναλήψεις. Για να δοκιμάσουν τις δεξιότητές του στην επίλυση προβλημάτων, οι ερευνητές χρησιμοποίησαν το παιχνίδι Αντίστροφη μέτρηση (Countdown), ένα μαθηματικό παζλ που απαιτεί από τους παίκτες να φτάσουν έναν αριθμό-στόχο χρησιμοποιώντας αριθμητικές πράξεις. Αρχικά, το AI έκανε τυχαίες εικασίες, αλλά μέσω της ενισχυτικής μάθησης, βελτίωσε την ικανότητά του να αναθεωρεί και να βελτιστοποιεί τις απαντήσεις του.
Η ομάδα του Pan πειραματίστηκε με διαφορετικά μεγέθη μοντέλων, σημειώνοντας ότι ένα μοντέλο 500 εκατομμυρίων παραμέτρων δυσκολεύτηκε να βελτιώσει τις απαντήσεις του, ενώ ένα μοντέλο 1,5 δισεκατομμυρίων παραμέτρων άρχισε να ενσωματώνει τεχνικές αναθεώρησης. Όταν προστέθηκαν από 3 έως 7 δισεκατομμύρια παράμετροι, το AI παρουσίασε σημαντική βελτίωση στην αποτελεσματική επίλυση προβλημάτων.
Η οικονομική προσιτότητα αυτής της κατασκευής εγείρει ερωτήματα σχετικά με το κόστος ανάπτυξης της τεχνητής νοημοσύνης. Επί του παρόντος, το OpenAI χρεώνει 15 $ ανά εκατομμύριο tokens μέσω του API του, ενώ το DeepSeek προσφέρει ζητάει 0,55 $ ανά εκατομμύριο tokens. Ωστόσο, ο ερευνητής τεχνητής νοημοσύνης Nathan Lambert έχει εκφράσει σκεπτικισμό σχετικά με την προσιτή τιμή του DeepSeek, υποστηρίζοντας ότι το λειτουργικό του κόστος μπορεί να φτάσει τα 500 εκατομμύρια δολάρια έως και πάνω από 1 δισεκατομμύριο δολάρια ετησίως.
Επιπλέον, οι ανησυχίες σχετικά με το απόρρητο των δεδομένων και την εθνική ασφάλεια οδήγησαν στην απαγόρευση του DeepSeek σε μέρη των ΗΠΑ.
Ορισμένες αναφορές υποδηλώνουν ότι το DeepSeek μπορεί να έχει εκπαιδευτεί χρησιμοποιώντας το ChatGPT της OpenAI.
Ενώ τα ερωτήματα παραμένουν, τα ευρήματα του Berkeley μας δείχνουν ότι τα μοντέλα τεχνητής νοημοσύνης υψηλής απόδοσης θα μπορούσαν να γίνουν πολύ πιο προσιτά στο εγγύς μέλλον, διαταράσσοντας την κυριαρχία μεγάλων εταιρειών τεχνητής νοημοσύνης όπως η OpenAI, η Google και η Microsoft.
https://github.com/Jiayi-Pan/TinyZero
