news

Microsoft 365: Πως ένα bug από τον Ιούλιο έριξε το 80% των gateway

Στην προκαταρκτική έκθεση για το μπλακ άουτ της 12ης Νοεμβρίου, η Microsoft παραδέχεται ότι οι συνήθεις μηχανισμοί ανάκαμψής της δεν σχεδιάστηκαν για αστοχία τέτοιας κλίμακας.

microsoft 365 blackout

Ένα μικρό σφάλμα λογισμικού, δύο άσχετα προβλήματα υποδομής και ένας αυτοματισμός που έριξε λάδι στη φωτιά: αυτή είναι η συνταγή του blackout που άφησε εκατομμύρια χρήστες χωρίς email και άλλες υπηρεσίες του Microsoft 365 για περισσότερες από 12 ώρες, στις 12 Νοεμβρίου.

Η διακοπή χτύπησε παγκοσμίως τα Outlook, Exchange Online, Teams και SharePoint, λίγο μετά από μια σύντομη διακοπή του Teams. Οι πρώτες προσπάθειες αποκατάστασης απέτυχαν και χειροτέρεψαν την κατάσταση, σύμφωνα με την προκαταρκτική έκθεση της Microsoft.

Την εξήγηση μοιράστηκε στο X και το στέλεχος της εταιρείας Charles Lamanna.

Η ρίζα του προβλήματος, κατά την έκθεση, ήταν ένα σφάλμα που παρουσιάστηκε τον Ιούλιο του 2026 σαν μέρος μιας διόρθωσης στους gateway servers δικτύωσης του Microsoft 365. Προκαλούσε lock contention σε μια εσωτερική διεργασία, με αποτέλεσμα οι servers να σταματούν να ανταποκρίνονται υπό ορισμένα φορτία.

Το update πέρασε από τον κανονικό έλεγχο και διανεμήθηκε παγκοσμίως επί αρκετές εβδομάδες χωρίς πρόβλημα. Η Microsoft διαπίστωσε ότι οι δοκιμές δεν εντόπισαν το σφάλμα, γιατί τα περιβάλλοντα δοκιμών χρησιμοποιούσαν κυρίως παλαιότερο, λιγότερο ισχυρό hardware με λιγότερους πυρήνες CPU, ενώ το bug εμφανιζόταν σε νεότερους servers με περισσότερους πυρήνες.

Λίγες ώρες πριν από το περιστατικό, το traffic από το Teams μεταφέρθηκε από εναλλακτικό gateway στο κύριο gateway, που εξυπηρετεί και το Exchange Online. Πρόκειται για ένα φυσιολογικό failover στον σχεδιασμό της υποδομής, αλλά αύξησε το φορτίο και άλλαξε τα μοτίβα κίνησης. Παράλληλα, περίπου το 14% της χωρητικότητας του gateway ήταν ήδη εκτός λειτουργίας λόγω άσχετου προβλήματος της προηγούμενης ημέρας. Το υπόλοιπο 86% αρκούσε για το κανονικό φορτίο, όχι όμως για όλο αυτό. Η αυξημένη κίνηση του Teams μαζί με τη μειωμένη χωρητικότητα ενεργοποίησε το κρυμμένο bug.

Από εκεί και πέρα, η αυτόματη ανακατεύθυνση της κίνησης από servers που δεν αποκρίνονταν έκανε τα πράγματα χειρότερα: το φορτίο που μεταφέρθηκε ενεργοποιούσε το ίδιο bug και στους επόμενους servers. Σε λιγότερο από δύο ώρες, η αστοχία απλώθηκε στο 80% του στόλου των gateway. Κανονικά, ξεχωριστά partitions χωρητικότητας και περιοχές περιορίζουν τέτοιες βλάβες, όμως ένα ακόμη πρόβλημα εμπόδισε αυτές τις δικλίδες ασφαλείας να τη σταματήσουν, και η κατάρρευση έγινε παγκόσμια.

Η αποκατάσταση ήταν δύσκολη: κάθε φορά που οι μηχανικοί έφερναν τους servers ξανά online, η συσσωρευμένη κίνηση τους έριχνε πάλι. Το rollback του update δεν ήταν εύκολη λύση, αφού το bug υπήρχε από τον Ιούλιο, οπότε η Microsoft ανέπτυξε νέο update που επαναφέρει τον επηρεασμένο κώδικα στην προηγούμενη λειτουργική του κατάσταση.

Η διόρθωση εφαρμόστηκε θέτοντας εκτός λειτουργίας μεγάλες ομάδες servers, εγκαθιστώντας την, κάνοντας επανεκκίνηση και επαναφέροντάς τους σταδιακά σε λειτουργία. Η τελική έκθεση αναμένεται αργότερα αυτή την εβδομάδα, με περισσότερες τεχνικές λεπτομέρειες και τα μέτρα για να μην επαναληφθεί κάτι παρόμοιο.

____________

Το πιο αποκαλυπτικό σημείο της έκθεσης δεν είναι το bug, αλλά η παραδοχή ότι οι συνήθεις μηχανισμοί ανάκαμψης δεν σχεδιάστηκαν για τέτοια κλίμακα. Με απλά λόγια, το σύστημα που έπρεπε να μας προστατεύει από τις βλάβες ήταν αυτό που τις μετέφερε παντού. Ο αυτοματισμός του failover, που πουλιέται σαν ασπίδα, έγινε μηχανισμός εξάπλωσης. Και οι δοκιμές έτρεχαν σε παλιό hardware, ενώ η παραγωγή έτρεχε σε νέο.

Ποιος πληρώνει; Όχι η Microsoft, αλλά τα εκατομμύρια χρηστών που έμειναν 12 ώρες χωρίς email, σε μια εποχή που η αλληλογραφία είναι η καρδιά κάθε επιχείρησης. Όσο συγκεντρώνουμε τα πάντα σε έναν πάροχο και ένα cloud, η βλάβη ενός gateway είναι δικό μας πρόβλημα. Μια εναλλακτική διεύθυνση email σε άλλον πάροχο ή, για όποιον μπορεί, ένας δικός του διακομιστής με open source λύση, δεν είναι υπερβολή· είναι στοιχειώδης πρόνοια.

Περιμένουμε την τελική έκθεση, αλλά ας μην περιμένουμε και πολλά: τα μέτρα θα αφορούν την Microsoft, και όχι εμάς. Εσείς έχετε σχέδιο για την επόμενη φορά που θα πέσει το Exchange; ή θα περιμένετε πάλι να σας το διορθώσουν άλλοι;

0 σχόλια

iGuRu.gr
Μέλος του forum; Συμμετέχετε στη συζήτηση στο forum. Συζήτηση στο forum →

Συμμετέχετε στη συζήτηση

Η ηλ. διεύθυνση σας δεν δημοσιεύεται. Τα υποχρεωτικά πεδία σημειώνονται με *

Το μήνυμα σας δεν θα δημοσιευτεί εάν:

  1. Περιέχει υβριστικά, συκοφαντικά, ρατσιστικά, προσβλητικά ή ανάρμοστα σχόλια.
  2. Προκαλεί βλάβη σε ανηλίκους.
  3. Παρενοχλεί την ιδιωτική ζωή και τα ατομικά και κοινωνικά δικαιώματα άλλων χρηστών.
  4. Διαφημίζει προϊόντα ή υπηρεσίες ή διαδικτυακούς τόπους.
  5. Περιέχει προσωπικές πληροφορίες (διεύθυνση, τηλέφωνο κλπ).