Μετά την επιτυχία του ChatGPT της OpenAI, του Bing Chat της Microsoft και του Google Bard, οι ερευνητές δημιούργησαν ένα νέο μοντέλο AI με πολύ πιο σκοτεινά κίνητρα.
Ενώ τα μεγάλα γλωσσικά μοντέλα (LLM) που τροφοδοτούν το ChatGPT και το Google Bard εκπαιδεύτηκαν σε δεδομένα από τον ανοιχτό ιστό, το DarkBERT εκπαιδεύτηκε αποκλειστικά σε δεδομένα από τον σκοτεινό ιστό (dark web). Ναι, σωστά διαβάσατε, αυτό το AI μοντέλο εκπαιδεύτηκε χρησιμοποιώντας δεδομένα από hacker, κυβερνοεγκληματίες και άλλους απατεώνες.
Μια ομάδα Νοτιοκορεατών ερευνητών κυκλοφόρησε ένα έγγραφο (PDF) που περιγράφει λεπτομερώς πώς έφτιαξαν το DarkBERT χρησιμοποιώντας δεδομένα από το δίκτυο Tor, το οποίο χρησιμοποιείται για πρόσβαση στο σκοτεινό ιστό. Ανιχνεύοντας το dark web και στη συνέχεια φιλτράροντας τα ακατέργαστα δεδομένα, μπόρεσαν να δημιουργήσουν μια βάση δεδομένων που χρησιμοποίησαν για να εκπαιδεύσουν το DarkBERT.
Παραδόξως, το DarkBERT έχει ήδη καταφέρει να ξεπεράσει άλλα μεγάλα μοντέλα, παρά το γεγονός ότι έχει εκπαιδευτεί σε δεδομένα από ένα πολύ απίθανο μέρος.
Αν και το DarkBERT είναι ένα νέο μοντέλο τεχνητής νοημοσύνης, στην πραγματικότητα βασίζεται στην αρχιτεκτονική RoBERTa, η οποία είναι μια προσέγγιση τεχνητής νοημοσύνης που αναπτύχθηκε το 2019 από ερευνητές στο Facebook σύμφωνα με το Tom's Hardware.
Σε μια ερευνητική εργασία που περιγράφει λεπτομερώς τις εσωτερικές λειτουργίες του RoBERTa, η Meta AI εξηγεί ότι είναι μια “πολύ βελτιστοποιημένη μέθοδος για την προεκπαίδευση συστημάτων επεξεργασίας φυσικής γλώσσας (NLP από το natural language processing)” που βελτιώνει το BERT που κυκλοφόρησε από την Google το 2018. Καθώς η Google έκανε το BERT ανοιχτού κώδικα, οι ερευνητές του Facebook κατάφεραν να βελτιώσουν την απόδοσή του.
Χάρη στη βελτιστοποιημένη μέθοδο του Facebook, κυκλοφόρησε το RoBERTa, το οποίο ήταν σε θέση να παράγει αποτελέσματα τελευταίας τεχνολογίας στο General Language Understanding Evaluation (GLUE) NLP benchmark.
Τώρα, όμως, οι Νοτιοκορεάτες ερευνητές πίσω από το DarkBERT έδειξαν ότι το RoBERTa είναι σε θέση να κάνει ακόμη περισσότερα, καθώς είχε υποεκπαιδευτεί όταν κυκλοφόρησε αρχικά. Τροφοδοτώντας δεδομένα από το dark web το RoBERTa σε διάρκεια σχεδόν 16 ημερών με δύο σύνολα δεδομένων (το ένα ακατέργαστο και το άλλο προεπεξεργασμένο), οι ερευνητές μπόρεσαν να δημιουργήσουν το DarkBERT.
Να αναφέρουμε ότι οι συγκεκριμένοι ερευνητές δεν έχουν σχέδια να κυκλοφορήσουν το DarkBERT στο κοινό. Ωστόσο, δέχονται αιτήματα για ακαδημαϊκούς σκοπούς σύμφωνα με το Dexerto. Να αναφέρουμε ότι το DarkBERT πιθανότατα είναι πολύ ελκυστικό για τις αρχές επιβολής του νόμου αλλά και για τους αντιπάλους της άλλης πλευράς. Φυσικά θα δώσει και στους ερευνητές μια ευκαιρία για να κατανοήσουν καλύτερα το dark web στο σύνολό του.
