Apenas se cumplían 10 días del devastador incendio que consumió el DataCenter SBG2 de OVH, en Estrasburgo (Francia), cuando este viernes 19 de marzo se ha vuelto a declarar un nuevo foco de incendio en otro de los Centros de datos de Estrasburgo de la compañía.
El personal de la compañía identificó humo en una sala de baterías desconectada en el Centro de Datos SBG1, aproximadamente a las 6:50 de la noche, siendo necesaria la presencia de una dotación de bomberos.
La dirección de OVHcloud ha decidido aplicar el principio de precaución, cortando el suministro eléctrico del SBG1 y SBG4 de forma inmediata. La situación, ha provocado que las operaciones de recuperación de los los Cetros de datos de la compañía en Estrasburgo se vieron interrumpidas de inmediato.
Todo el personal de OVHcloud, así como a todos los equipos asociados han sido enviados a casa, quedando en el lugar únicamente el personal de seguridad, protección contra incendios y mantenimiento.
Los bomberos identificaron la fuente del incendio en la sala de baterías del SBG1 y el incidente se contuvo a los pocos minutos. Desde la empresa de se ha reportado que no hay heridos entre los equipos de OVHcloud salvo dos miembros del personal de seguridad, afectados por el humo, que han sido examinados por profesionales médicos como medida de precaución. La situación ha quedado bajo control y se ha comenzado a adaptar el cronograma de operaciones.
Update March,15 9pm
We had the smoke in an unused room in SBG1. We shutdown SBG1+SBG4 & we called the firefighters to identify the root cause. The firefighter stopped the smoke which came from the batteries that we don’t use. More info tomorrow. We stop the operation this night.
— Octave Klaba (@olesovhcom) March 19, 2021
Entre esas acciones se ha decidido apagar y asegurar SBG1, SBG2 y SBG4, pese a que este último ya se encontraba operativo. El escenario de reinicio de operaciones se revisaba este fin de semana para los centros de datos SBG1 y SBG4, mientras que el SBG3 estaba parcialmente restaurado.
“Los equipos continúan trabajando en el centro de datos SBG3 desde hoy, mientras siguen e vigor las medidas de seguridad implementadas”.
A las 3:00 de la tarde de ese mismo día, Octava Klaba, CEO de OVH, ha anunciado que no tienen previsto reiniciar el DataCenter SBG1, nunca, y que los servidores en 61A / D + 62A / D se moverían al SBG4.
“Los servidores en 61E / 62E se moverán a Croix y se limpiarán y luego se reiniciarán en RBX / GRA. SBG4: trabajando en el suministro eléctrico + la red de SBG3. Luego reiniciamos SBG4”, escribió en su cuenta en Twitter.
Afirmó que cuentan con 60 técnicos trabajando a tres turnos en el SBG3, limpiaban los servidores y reiniciaban. También ha agradecido a todas las autoridades (bomberos, prefecto, policía, seguros, expertos, etc.) porque han sido un gran apoyo.
En la red social igualmente informó que dos empresas expertas en la limpieza de los servidores les ayudaban tras el incendio. Apuntó que en el DataCenter SBG4 se conectará un nuevo tendido eléctico (de SBG3 a SBG4), mientras que, en SBG1 se trabajaba en el plan para mover los servidores a RBX / GRA + SBG4.
Ya este domingo 21 de marzo, Klaba ha anunciado que el 40 % de VPS (Servidor Virtual Privado) estaba operativo en el SBG3 y que seguían trabajando 24/24 para reiniciar el resto de VPS.
“Trabajando en pCS donde almacenamos el servicio de respaldo SBG2 para VPS. SBG4: Necesitamos 3 días para excavar y conectar la energía de SBG4 a SBG3. SBG1: Construcción / traslado de una nueva sala de red A en SBG5”.
Provisión de infraestructura para clientes
Todos los clientes interesados han recibido durante la semana una comunicación sobre las medidas comerciales que se aplicarán a su situación. “Para los clientes que no han recibido el correo electrónico, se ha indicado un procedimiento en las preguntas frecuentes”.
Además, los clientes que se han visto afectados contarán con aprovisionamiento de infraestructura en otros centros de datos en Gravelines (GRA), Roubaix (RBX), Londres (LON), Varsovia (WAW) y Francfort (FRA).
La empresa se ha comprometido a proporcionar alrededor de 15 mil nuevos servidores a sus clientes en las próximas semanas. Debido a la demanda actual, se ha indicado que los tiempos de entrega de sus servicios Bare Metal pueden ser más largos de lo habitual.
“Nuestros equipos están completamente movilizados y estamos trabajando arduamente para entregar a nuestros clientes lo más rápido posible, especialmente a todos los clientes afectados”.
Por otro lado, los equipos de soporte técnico y administradores de cuentas están en contacto con los clientes y han establecido un plan de soporte para los clientes que aún no han activado su DRP (Plan de Recuperación ante Desastres).
“Nos disculpamos sinceramente por cualquier inconveniente relacionado con esta situación. Se está investigando la causa. Cualquiera sea la causa del incidente, OVHcloud está evaluando posibles medidas técnicas y operativas para brindar soluciones a todos los clientes afectados”.
Hay que recordar que la compañía sufrió un importante incendio el pasado 10 de marzo de este año en el DataCenter SBG2, determinándose que la estructura prefabricada debía reconstruirse casi por completo. Organizaciones como la ESA (Agencia Espacial Europea), su proyecto ONDA y 3,6 millones de sitios web, en 464 mil dominios distintos, quedaron desconectados por el siniestro.
