Πέρυσι, η Microsoft κυκλοφόρησε τους υπολογιστές Copilot+ που διαθέτουν μια ειδική Μονάδα Νευρωνικής Επεξεργασίας (NPU) ικανή για πάνω από 40 TOPS. Αυτοί οι υπολογιστές Copilot+ συνοδεύονταν από το Phi-Silica, ένα SLM ενσωματωμένο στη συσκευή για να προσφέρει δυνατότητες γλωσσικής νοημοσύνης στις εφαρμογές της Microsoft αλλά και σε εφαρμογές άλλων προγραμματιστών.
Σήμερα, η Microsoft αποκάλυψε το Mu, ένα νέο μοντέλο γλώσσας ενσωματωμένης στα Windows 11. Στόχος της Microsoft ήταν να δημιουργήσει έναν AI agent εντός της εφαρμογής Ρυθμίσεις, ο οποίος μπορεί να κατανοήσει τα ερωτήματα φυσικής γλώσσας ενός χρήστη. Αυτόν τον AI agent τον έχει ενσωματώσει στο υπάρχον πλαίσιο αναζήτησης για μια ομαλή εμπειρία χρήστη.
Έτσι η Microsoft θα χρησιμοποιεί το νέο μοντέλο Mu για να τροφοδοτήσει τη νέα λειτουργία AI agent στην εφαρμογή Ρυθμίσεις, η οποία διατέθηκε πρόσφατα στους Windows Insiders στο Dev Channel με υπολογιστές Copilot+.
Όπως και το Phi-Silica, το Mu έχει σχεδιαστεί για να λειτουργεί σε NPU, παρέχοντας πάνω από 100 tokens ανά δευτερόλεπτο ενώ τρέχει τοπικά. Στην επίσημη δημοσίευση της Microsoft η εταιρία εξηγεί πώς σχεδίασε και εκπαίδευσε το μοντέλο γλώσσας Mu.
Ακολουθεί μια επισκόπηση του μοντέλου γλώσσας Mu:
- Το Mu είναι ένα 330M encoder-decoder language model.
- Η προσέγγιση κωδικοποιητή-αποκωδικοποιητή πέτυχε περίπου 47% χαμηλότερη καθυστέρηση πρώτου token και 4,7 φορές υψηλότερη ταχύτητα αποκωδικοποίησης σε σύγκριση με ένα μοντέλο μόνο με αποκωδικοποιητή παρόμοιου μεγέθους.
- Το Mu χρησιμοποιεί κατανομή βάρους σε ορισμένα στοιχεία για να μειώσει τον συνολικό αριθμό παραμέτρων.
- Η Microsoft εκπαίδευσε το Mu χρησιμοποιώντας GPU NVIDIA A100 σε Azure Machine Learning.
- Το Mu είναι σχεδόν συγκρίσιμο σε απόδοση με ένα παρόμοια βελτιωμένο Phi-3.5-mini, παρά το γεγονός ότι έχει το ένα δέκατο του μεγέθους του.
- Το μοντέλο είναι πιο κατάλληλο για ερωτήματα πολλαπλών λέξεων. Έτσι, για σύντομες ή μερικές λέξεις, η εφαρμογή Ρυθμίσεις θα συνεχίσει να εμφανίζει αποτελέσματα λεξιλογικής και σημασιολογικής αναζήτησης στο πλαίσιο αναζήτησης.
Οι ενδιαφερόμενοι χρήστες και όσοι διαθέτουν το hardware μπορούν να κατεβάσουν την έκδοση 26120.3964 (KB5058496) των Windows 11 ή κάποια νεότερη έκδοση για να ελέγξουν αυτόν τον νέο AI agent στην εφαρμογή Ρυθμίσεις των Windows.
Αν και τα δελτία τύπου θα είναι από πολύ επιλεγμένα έως και σπάνια, είπα να περάσω … γιατί καμιά φορά κρύβονται οι συντάκτες.
