Microsoft ΑΙ: Local και Cloud φυσικά την πληρώνει ο πελάτης

Ο ορισμός της Microsoft για το τι σημαίνει και τι αποτελεί ένα υπολογιστή τεχνητής νοημοσύνης αρχίζει να διαμορφώνεται. Με την πιο πρόσφατη έκδοση των Windows, οι υπολογιστές αποκτούν ένα νέο κλειδί για το Copilot και θα πρέπει να διαθέτουν ένα NPU ικανό για τουλάχιστον 40 τρισεκατομμύρια λειτουργίες το δευτερόλεπτο. Γιατί; Σύντομα θα μπορείτε να τρέχετε το Microsoft Copilot τοπικά, στον υπολογιστή σας.

Οι απαιτήσεις του Redmond για το μοντέλο τεχνητής νοημοσύνης στα Windows επισημοποιήθηκαν από την Intel – μια από τις ισχυρότερες εταιρείες της κατηγορίας AI PC – κατά τη διάρκεια του AI Summit της εταιρείας στην Ταϊπέι αυτή την εβδομάδα.

Δες περισσότερα άρθρα του iGuRu.gr όταν αναζητάς ειδήσεις στην Google.

Το iGuRu.gr προτιμώμενη πηγή

Η λειτουργία ενός γλωσσικού μοντέλου (LLM) τοπικά θα έχει κάποια εγγενή οφέλη. Οι τελικοί χρήστες θα έχουν χαμηλότερο λανθάνοντα χρόνο και επομένως βελτιωμένους χρόνους απόκρισης, καθώς τα ερωτήματα δεν θα χρειάζεται να αποστέλλονται προς και από ένα απομακρυσμένο κέντρο δεδομένων.

Οι χρήστες θεωρητικά τουλάχιστον θα έχουν και καλύτερο απόρρητο.

Για τη Microsoft, εν τω μεταξύ, η μετατόπιση του μεγαλύτερου φόρτου εργασίας AI στις συσκευές των πελατών της θα απελευθερώσει τους δικούς της πόρους για άλλες εργασίες, όπως στο να βοηθήσει στην εκπαίδευση του επόμενου μοντέλου της OpenAI.

Η Microsoft ίσως ελπίζει να τρέξει το Copilot LLM εξ ολοκλήρου σε NPU, ή μονάδες νευρικής επεξεργασίας, στους επερχόμενους υπολογιστές τεχνητής νοημοσύνης με Windows, αν κρίνουμε από τα σχόλια που έγιναν από στελέχη της Intel στη σύνοδο κορυφής. Μπορούμε να φανταστούμε την Intel να πιέζει προς αυτή την κατεύθυνση για να πείσει τους πάντες ότι το πυρίτιο της είναι αρκετά ισχυρό για να τρέχει τα πράγματα του Redmond στο σπίτι ή στο γραφείο.

Βέβαια η ιδέα της αποσύνδεσης του Copilot από τον ομφάλιο του Azure μπορεί να είναι ελκυστική για την Microsoft, αλλά δεν φαίνεται να είναι όλοι υποστηρικτές της. Προσωπικά θα ήθελα τουλάχιστον κάποια ποσότητα επεξεργασίας να γίνεται μόνο στο σύννεφο το άμεσο μέλλον.

Όποια και αν είναι η διαδρομή που θα ακολουθήσει η Microsoft, ο συνδυασμός τοπικών και απομακρυσμένων μοντέλων AI, είναι κάτι που θα δούμε σύντομα, χωρίς να γνωρίζουμε ακόμη υπό ποιες συνθήκες θα χρησιμοποιηθούν τα τοπικά μοντέλα.

Μπορούμε να σκεφτούμε μερικά σενάρια στο πως η Microsoft θα χρησιμοποιήσει την τοπική τεχνητή νοημοσύνη. Το πρώτο είναι για να ξεφορτωθεί την εργασία από τους servers της.

Το δεύτερο θα ήταν να το έχουμε σαν backup plan σε περίπτωση διακοπής του δικτύου. Σκεφτείτε τον υπολογιστή σας με AI να γίνεται πιο χαζός αντί να σταματάει εντελώς όταν αποκοπεί από το δίκτυο.

Να αναφέρουμε ότι προς το παρόν δεν υπάρχουν μηχανήματα που να πληρούν τις απαιτήσεις hardware και δεν δεν μιλάμε για το κλειδί Copilot στο πληκτρολόγιο.
Το θέμα είναι ότι οι NPU εξακολουθούν να είναι σχετικά καινούριοι και δεν είναι αρκετά ισχυροί. Η AMD ήταν από τις πρώτες που πρόσθεσε ένα NPU στους επεξεργαστές κινητών της στις αρχές του 2023 με την κυκλοφορία των τσιπ της σειράς Ryzen 7040.

Αυτό το lineup σημείωσε άνοδο τον Δεκέμβριο κατά τη διάρκεια της εκδήλωσης Advancing AI του House of Zen. Η AMD έφερε επίσης τις NPU της στην επιφάνεια εργασίας με την κυκλοφορία των 8000G APU της στην CES τον Ιανουάριο του τρέχοντος έτους.

Η Intel κυκλοφόρησε τον Meteor Lake στα τέλη Δεκεμβρίου.

Δυστυχώς, τα τσιπ αυτά είναι ικανά μόνο για 10 έως 16 τρισεκατομμύρια (συνήθως INT4) λειτουργίες ανά δευτερόλεπτο, πολύ χαμηλότερα από τις προδιαγραφές των 40 TOPS της Microsoft. Αυτό σημαίνει ότι οι περισσότεροι από τους λεγόμενους υπολογιστές τεχνητής νοημοσύνης στην αγορά δεν θα πληρούν τις απαιτήσεις.

Τόσο η Intel όσο και η AMD διαθέτουν πιο ικανά τσιπ με πυρίτιο Lunar Lake και Strix Point αντίστοιχα. Ωστόσο, στο εγγύς μέλλον, μάλλον θα δούμε κινήσεις και από την Qualcomm.

Οι φορητοί υπολογιστές με επεξεργαστές Snapdragon X Elite της Qualcomm θα κυκλοφορήσουν κάποια στιγμή στα μέσα του 2024 και θα διαθέτουν NPU με 45 TOPS. Σε συνδυασμό με μια Adreno GPU με απόδοση 4,6 teraFLOPS FP32, η Qualcomm λέει ότι το εξάρτημα θα μπορεί να τρέχει μοντέλα AI με έως και 13 δισεκατομμύρια παραμέτρους εξ ολοκλήρου στη συσκευή και να δημιουργεί 30 token το δευτερόλεπτο όταν εκτελούνται μικρότερα LLM των 7 δισεκατομμυρίων παραμέτρων.

Καθώς φτάνουν υπολογιστές με NPU υψηλότερης απόδοσης και μεγαλύτερες αποθήκες μνήμης και τα μικρά μοντέλα γίνονται πιο ικανά, υποπτευόμαστε ότι η Microsoft θα αρχίσει να δίνει περισσότερες λειτουργίες σε τοπικές συσκευές – μόλις το hardware μπορέσει να τις διαχειριστεί. Και εμείς να μπορέσουμε να διαχειριστούμε τις ολοένα αυξανόμενες απαιτήσεις για hardware….

giorgos

Ο Γιώργος ακόμα αναρωτιέται τι κάνει εδώ….