17 Kasım 2026 · Bulut ve altyapı
Temmuz'da yüklenen hata Kasım'da patladı: Microsoft 365 kesintisinin ön raporundan altyapı dersleri
Microsoft, 12–13 Kasım'daki büyük Microsoft 365 kesintisini üç aydan uzun süre uykuda kalan bir gateway hatasına bağladı. Rapor; yük testleri, health check zincirleri ve geri alma stratejileri hakkında hepimizin sistemine dair önemli sorular soruyor.
12 Kasım öğleden sonra (UTC) başlayan Microsoft 365 kesintisi Outlook, Exchange Online, Teams, SharePoint, OneDrive ve Copilot gibi servisleri yaklaşık bir gün boyunca etkiledi. Microsoft, 15 Kasım'da müşterilerine yönetim merkezinde bir ön olay raporu yayımladı. Raporun basına yansıyan özeti, büyük bir bulut sağlayıcısında bile nasıl "sıradan" koşulların bir araya gelip küresel bir çöküşe dönüşebileceğini çok net gösteriyor.
Bu yazıda olayın kendisinden çok, kendi sistemlerimiz için ne anlama geldiğine odaklanacağım.
Ne oldu?
Raporla ilgili haberlere göre olayın zinciri kabaca şöyle:
- Temmuz 2026: Microsoft 365'in ağ gateway sunucularına bir güncelleme dağıtıldı. Bu güncellemede, belirli trafik koşullarında dahili bir süreçte lock contention (kilit çekişmesi) yaratan bir hata vardı. Çekişme sunucunun CPU ve belleğini tüketiyordu.
- Üç aydan fazla: Değişiklik dünya genelinde çalıştı ve hiçbir sorun gözlenmedi.
- Bir gün önce: İlgisiz bir sorun, gateway kapasitesinin yaklaşık %14'ünü devre dışı bıraktı. Microsoft'a göre bu tek başına sorun yaratmayacaktı, çünkü yeterli pay vardı.
- Kesintiden yaklaşık 15 saat önce: Teams, normal işleyişin parçası olarak alternatif bir gateway'den Exchange Online'ın da kullandığı ana gateway'e geçti ve yükü artırdı.
- 12 Kasım, ABD'de yoğun saatler: Azalan kapasite ile değişen trafik birleşince uyuyan hata tetiklendi. İki saatten kısa sürede gateway sunucularının %80'inden fazlası yanıt veremez hale geldi.
Microsoft, sorunun bir siber saldırı olmadığını ve hatanın genel Windows kurulumlarını değil, yalnızca bu gateway sunucularına özel düzeltmeyi ilgilendirdiğini belirtti. Ön rapora göre müşteri etkisi 12 Kasım 16:20 ile 13 Kasım 16:10 (UTC) arasında, yani 24 saate yakın sürdü. Ayrıntılı nihai raporun bu hafta içinde yayımlanması bekleniyor.
Neden bu kadar yayıldı?
Asıl öğretici kısım hatanın kendisi değil, yayılma biçimi. Bir sunucu kilitlenip health check'leri geçemeyince trafik yönetimi onu devreden çıkarıp yükünü sağlıklı sunuculara aktardı. Ama o sunucular da aynı hatayı taşıyordu; ek yük onları da aynı eşiğe itti. Yani hatayı izole etmek için tasarlanmış mekanizma, hatayı filonun geri kalanına taşıyan araca dönüştü.
Buna bir de bölümleme (partition) sorunu eklendi. Haberlere göre ayrı bir problem, altyapı bölümleri arasındaki koruma mekanizmalarının çöküşü sınırlamasını engelledi ve etki küresele yayıldı.
Kurtarma aşaması da ayrı bir ders. Otomatik kurtarma bu ölçekte bir arıza için tasarlanmamıştı; yeniden başlatılan sunucular trafiğe döner dönmez yine boğuldu. Üstelik değişiklik aylar önce yapıldığı için alışıldık rollback, flighting ve feature flag araçlarıyla hızlıca geri alınamadı. Mühendisler eski kod yolunu geri getiren yeni bir güncelleme hazırlayıp sunucu gruplarını sırayla devreden çıkararak, güncelleyip, yeniden başlatarak ve trafiği kademeli açarak ilerlemek zorunda kaldı.
Kendi sistemlerimiz için dersler
1. Yük testi donanımı production'a benzemeli
Raporla ilgili haberlerde dikkat çeken bir ayrıntı var: hata, daha fazla çekirdeğe sahip yeni makinelerde daha belirgin çıkıyordu, ama yük testleri ağırlıklı olarak daha zayıf donanımda yapılmıştı. Kilit çekişmesi tipik olarak çekirdek sayısıyla kötüleşen bir sorun. 4 çekirdekli bir CI runner'ında geçen test, 96 çekirdekli bir production sunucusunda bambaşka davranabilir.
Pratikte bu şu anlama geliyor: Performans testlerinizi en az bir kez production'daki en büyük instance tipinde koşturun. Bulutta bunu birkaç saatliğine kiralamak, bir günlük kesintiden çok daha ucuz.
2. Health check'ler kaskad üretebilir
Load balancer'ın "hastayı çıkar" mantığı, sorun tek bir sunucudaysa harika çalışır. Sorun tüm filoda ortaksa ise her çıkarma, kalanların yükünü artırır. Bu yüzden çoğu proxy ve service mesh'te bir üst sınır vardır. Örneğin Envoy'da outlier detection aynı anda çıkarılabilecek host oranını sınırlar, belli bir sağlıklı host oranının altına inildiğinde ise "panik" moduna geçip trafiği tüm hostlara dağıtmaya devam eder:
outlier_detection:
consecutive_5xx: 5
max_ejection_percent: 20
common_lb_config:
healthy_panic_threshold:
value: 50Bu değerlerin doğrusu sisteme göre değişir; önemli olan, filonun yarısı birden "hasta" göründüğünde sisteminizin ne yapacağına önceden karar vermiş olmanız.
3. Load shedding, yeniden başlatmadan önce gelir
Yeniden başlatılan sunucunun anında tekrar boğulması, sistemin aşırı yük altında isteği reddetmek yerine kabul edip çöktüğünü gösteriyor. Kapasitenin üstündeki trafiği erken ve ucuz biçimde (örneğin hızlı bir 503 ile) reddetmek, kademeli trafik açmak (slow start) ve istemci tarafında jitter'lı exponential backoff kullanmak, kurtarmayı kendi başına bir saldırıya dönüşmekten kurtarır.
4. "Eski" değişiklikler için de geri dönüş yolu olsun
Çoğu ekibin geri alma stratejisi son dağıtımı hedefler. Peki üç ay önceki bir değişiklik bugün sorun çıkarırsa? Önemli kod yollarını uzun ömürlü feature flag'lerin arkasında tutmak, eski davranışı hızla geri getirecek bir build'i yeniden üretebilmek ve davranış değişikliklerini hangi sürümle geldiğine kadar izleyebilmek burada fark yaratıyor.
5. Normal operasyonlar da risk taşır
Bu olayda kimse "hatalı" bir şey yapmadı: Teams'in gateway değiştirmesi olağan bir işlemdi, %14'lük kapasite kaybı tek başına zararsızdı. Sorun, birbirinden habersiz iki normal olayın aynı anda gerçekleşmesiydi. Kapasite planlarken "N-1" değil, "bir bölge zaten eksikken trafik de kaydı" senaryosunu düşünmek gerekiyor.
Bağımlı olduğumuz servisler açısından
Kendi altyapınızı ne kadar iyi kurarsanız kurun, e-posta, sohbet ve kimlik doğrulama çoğu zaman tek bir SaaS sağlayıcısına bağlı. Bu kesintide bazı kurumların telefona ve manuel tablolara döndüğü bildirildi. Olay müdahale planınızın Teams ya da Slack'in çalıştığını varsayıp varsaymadığını, kritik bildirimlerin (örneğin alarm e-postalarının) alternatif bir kanalı olup olmadığını gözden geçirmek için iyi bir zaman.
Sonuç
Microsoft'un nihai raporu daha fazla ayrıntı getirecek; bazı detaylar değişebilir. Ama ön rapordan çıkan tablo zaten yeterince net: Uyuyan bir hata, test ortamı ile production arasındaki donanım farkı, kendini yayan health check mantığı ve sınırlayamayan bölümleme bir araya gelince dev bir sistem de çökebiliyor. Bunların hiçbiri Microsoft ölçeğine özgü değil; aynı desenler on sunuculu bir Kubernetes kümesinde de karşımıza çıkabilir.
Kaynaklar
- Microsoft blames its Microsoft 365 outage on a dormant July update defect (The Next Web)
- Microsoft Reveals Windows Bug That Crashed Over 80% of Servers During Global Microsoft 365 Outage (GBHackers)
- Microsoft 365 November 2026 Outage: Gateway Defect, Teams Traffic Shift and Capacity Loss Explained (WindowsForum)
- Microsoft Deploys Configuration Patch to Stabilize Global Microsoft 365 Outage (Petri)