Google je 4. novembra objavio analizu ispada koji je 20. oktobra oborio dio njegovog cloud regiona u Londonu i poremetio rad britanskih banaka i drugih firmi. Uzrok nije bio napad ni softverska greška. Kada je nestalo struje, rezervni generatori se nisu pokrenuli, jer je kontrolni sistem pogrešno „mislio“ da struja i dalje postoji.
Ispad je počeo u 06:08 po UTC-u (08:08 po našem vremenu), kada je otkazala zona europe-west2-b, jedna od tri zone londonskog regiona. Google je oko 14 sati po UTC-u javio da je problem riješen za većinu korisnika, piše The Register. Za neke je ispad trajao duže. Dok je trajao oporavak, Google je upozoravao da korisnici možda još ne mogu pokretati nova radna opterećenja, jer je prioritet bio vraćanje postojećih. Poteškoće su tog dana prijavile banke Lloyds, HSBC i Revolut, britanska pošta Royal Mail, dostavljač DPD, telekom BT i drugi.
Kako je zakazala rezerva
Prema Googleovom izvještaju, kako ga prenosi The Register, problem je počeo sedmicu ranije. Na redovnom tromjesečnom testu generatora 14. oktobra otkriveni su kvarovi, pa je jedan od dva dovoda struje, dovod B, isključen radi popravke. Podatkovni centar je tako ostao na samo jednom dovodu.
Dana 20. oktobra pukao je vanjski podzemni kabl na dovodu A. Generatori su tada trebali preuzeti napajanje, ali nisu dobili signal za pokretanje. Google navodi grešku u dizajnu mjerenja napona i pogrešnu konfiguraciju PLC-a, industrijskog računara koji upravlja napajanjem. Prema Googleu, logika PLC-a „pokazivala je da je ispravan izvor struje dostupan“, iako su oba dovoda bila bez napona. Baterije u sistemima za neprekidno napajanje (UPS) izdržale su oko pet minuta, a onda je zona ostala bez struje.
Posebno je važan jedan detalj. Kako navodi newsletter CxO Amplify, koji je također pratio Googleov izvještaj, oba redundantna kontrolera imala su istu pogrešnu logiku. Rezerva je postojala, ali je dijelila istu grešku kao i glavni sistem.
Ni druge dvije zone londonskog regiona nisu potpuno zaštitile korisnike, iako nisu ostale bez struje. Prema istom izvoru, Google navodi da dio prebacivanja virtuelnih mašina na Compute Engineu nije uspio zbog nedostatka kapaciteta. Drugi servisi imali su zastoje i kašnjenja jer su ovisili o zoni koja je pala. Google je odgovorio reprogramiranjem PLC-a i izmjenama na električnim instalacijama, koje je testirao. Najavio je i brže obavještavanje korisnika te šire testiranje otkaza infrastrukture na cijeloj platformi.
Nije prvi ispad u Londonu
Isti region imao je ozbiljan ispad i u julu 2022. Tokom rekordnog toplotnog talasa u Velikoj Britaniji, u podatkovnom centru zone europe-west2-a istovremeno je otkazalo više redundantnih sistema hlađenja. Google je tada ugasio dio zone i prekinuo oko 35 posto virtuelnih mašina u njoj, a ispad je trajao više od 18 sati, pisao je The Register. I tada je Google greškom preusmjerio interni promet sa sve tri londonske zone, a ne samo s pogođene.
Oba slučaja pokazuju istu lekciju: rezervni sistemi pomažu samo ako ne zavise od iste greške i ako ima dovoljno kapaciteta da preuzmu posao. Za firme koje koriste cloud, to znači da raspodjela aplikacija na više zona nije garancija. Ako sve zone u regionu u kritičnom trenutku traže iste resurse, prebacivanje može zakazati baš kada je najpotrebnije.
Za kritične sisteme, poput bankarskih, to znači rezervu u drugom regionu ili kod drugog provajdera, uz redovno testiranje stvarnog prelaska. Googleov izvještaj, prema dostupnim prikazima, ne navodi koliko je korisnika imalo rezervu u drugom regionu niti koliko su njihovi sistemi bili pogođeni.
Koliko je Google servisa ukupno bilo pogođeno nije potpuno jasno. The Register je na dan ispada naveo sedam servisa, među njima Cloud Run, App Engine i Google Kubernetes Engine. Amro Al-Said Ahmad s britanskog Univerziteta Keele procijenio je da ih je bilo 38.
