Un fallo eléctrico en Londres tumba Google Cloud durante casi ocho horas y arrastra a Revolut y a bancos británicos

Un fallo eléctrico en uno de sus centros de datos de Londres provocó este martes 20 de octubre una caída de Google Cloud que dejó a 38 de sus productos con fallos y errores durante casi ocho horas. El golpe se notó fuera del mundo técnico: Revolut se quedó sin servicio para millones de clientes en el Reino Unido e Irlanda, y bancos como Halifax, el servicio de tribunales británico y empresas de reparto también reportaron problemas.

Google Cloud organiza su infraestructura en regiones, que son ciudades o áreas geográficas, y cada región en varias zonas: centros de datos separados, con su propia alimentación eléctrica, refrigeración y red, pensados para que un problema en uno no arrastre a los demás. La región de Londres se llama europe-west2 y tiene tres zonas, a, b y c. Muchas empresas británicas la eligen porque la ley o sus clientes les piden guardar los datos en el país, y porque la cercanía reduce la latencia.

El incidente empezó a las 06:08 UTC (las 07:08 en Londres) en la zona europe-west2-b. Google tardó casi dos horas y media en publicar el primer aviso y cerca de cinco en explicar la causa: «Un evento eléctrico provocó una caída en la zona europe-west2-b». Hacia el mediodía de Londres el problema eléctrico estaba resuelto, pero volver a levantar servidores, discos y servicios llevó varias horas más. Google dio el incidente por cerrado a las 14:03 UTC, aunque admitió que un número muy pequeño de clientes seguía afectado.

Claves de la caída

• Una sola zona, efecto en toda la región: la zona b dejó de dar servicio, y el resto de europe-west2 sufrió errores y cortes de red intermitentes.
• 38 productos afectados, entre ellos los básicos: Compute Engine (máquinas virtuales), Kubernetes Engine, Cloud Run, Cloud SQL, Cloud Storage, BigQuery, Spanner, Pub/Sub, los discos persistentes y el balanceo de carga.
• Recuperación por partes: Google priorizó volver a encender lo que ya estaba corriendo. Durante un buen rato no se pudieron crear máquinas ni servicios nuevos.
• La única solución temporal que ofreció fue mover las cargas a otra zona o región, justo lo que es difícil de hacer en plena caída si no se ha preparado antes.
• Revolut, cuya infraestructura está en Google Cloud, dejó a sus clientes sin acceso a la app, sin transferencias, sin pagos con tarjeta y sin retiros en cajeros. Solo en Irlanda tiene 3.4 millones de clientes. La empresa aseguró que «el dinero y los datos de todos nuestros clientes están a salvo».
• Otros afectados: Halifax confirmó fallos en su app y su banca en línea, y el servicio de tribunales británico, en la plataforma de vídeo de las audiencias a distancia. Clientes de Lloyds y HSBC, y de empresas como DPD y Royal Mail, también reportaron problemas.
• Sin explicación técnica todavía: Google no ha dicho qué falló en el suministro eléctrico ni por qué los sistemas de respaldo no lo evitaron. Ha prometido publicar un análisis.

Por qué una sola zona pudo tanto

Las zonas existen precisamente para esto: si un centro de datos se queda sin luz, las aplicaciones repartidas entre varias zonas siguen funcionando con las otras. Pero repartir cuesta dinero y complica la arquitectura, porque hay que duplicar servidores y mantener los datos replicados entre zonas. Muchos servicios, sobre todo los más antiguos o los que nacieron pequeños, siguen viviendo en una sola zona. Cuando esa zona cae, caen con ella.

Además, una región no es del todo independiente aunque sus zonas lo sean. Los servicios de red y de gestión que comparten las tres zonas también dieron errores, y cuando todos los clientes intentan a la vez mover sus cargas a las zonas que siguen en pie, esas zonas se saturan. Por eso, incluso una aplicación bien repartida pudo notar la caída, aunque mucho menos que una alojada solo en la zona b.

Y está la concentración. Que un fallo eléctrico en un solo edificio deje sin pagar con tarjeta a millones de personas muestra hasta qué punto los bancos y servicios públicos dependen de tres o cuatro proveedores de nube. Es el riesgo que los reguladores llevan tiempo intentando vigilar: en la Unión Europea, el reglamento DORA obliga a los bancos a tener planes para cuando falle un proveedor tecnológico crítico, y el Reino Unido tiene su propio régimen para supervisar a esos «terceros críticos».

Google cerró el incidente en algo menos de ocho horas, y el análisis que publique dirá si el problema fue el suministro, los generadores de respaldo o cómo se distribuyó la carga después. Mientras tanto, la lección para quien despliega en la nube es la de siempre, pero ahora con ejemplo reciente: una zona no es una garantía, y lo que no puede caerse tiene que estar en al menos dos.

Más fuentes: The Irish Times, ABC News y The Register. Portada: centro de datos de BalticServers, foto de BalticServers.com, licencia CC BY-SA 3.0, Wikimedia Commons.

Fuente: Google Cloud Service Health, «Multiple services are experiencing issues in the europe-west2 region»