Incident électrique
10:50'
Bonjour,
Nous rencontrons actuellement un problème électrique pouvant impacter vos services.
Nos équipes sont actuellement sur place pour assurer la remise en fonction.
Nous ne manquerons pas de revenir vers vous pour visibilité.
L’équipe support.
11:56'
Incident électrique
Bonjour,
Un incendie s’est déclaré dans un local réseau électrique de la zone d’activité de notre de notre datacenter Datagrex (Le Mans). Ce dernier est distant et tout risque de propagation est écarté. Les pompiers et Enedis sont en intervention.
Notre datacenter a basculé sur son réseau électrique de secours autonome.
Actuellement, il ne reste plus qu’une baie informatique impactée.
Nos équipes continuent à activer vos PRA et/ou redémarrer vos environnements.
Toutes nos excuses pour cet impact indépendant de notre volonté.
Merci pour votre compréhension.
14:02'
Incident électrique
Bonjour,
L’équipe technique DRI continue progressivement à remonter vos environnements et vos infrastructures.
Merci pour votre patience et compréhension.
L’équipe support.
22:00'
Incident électrique
Bonsoir,
Les réparations ont été faites à 17h53 dans le local technique EDF / Enedis qui a pris feu.
A l’heure actuelle, l’équipe DRI a remonté 95 % des environnements et infrastructures clients. Nous travaillons activement sur une remise en fonction nominale des derniers serveurs.
Toutes nos excuses pour cet incident indépendant de notre volonté,
Bien sincèrement,
L’équipe DRI
14:00'
Incident électrique
Retours sur l'incident électrique du 14/06/2021
A compter de 10h27, dix des treize baies DRI situées dans le datacenter du Mans Datagrex ont subi un défaut électrique et ont disjoncté malgré une sécurisation via onduleur. Datagrex est un des 5 datacenters que DRI exploite. La majorité des infrastructures de production sont situés dans ce datacenter.
Impact :
L’ensemble des serveurs et équipements des baies disjonctées se sont éteints. Plus de 1000 serveurs virtuels ont été rendus indisponibles.
Déroulé :
Les équipes DRI ont récenclenchés les disjoncteurs à 10h55.
Les équipes DRI on ensuite démarré une campagne d’activation des PRAs pour les clients en disposant et relancé les Vms et services associés sur les architectures monoserveurs.
15 % des services sécurisés avec bascule automatique étaient actifs dans les 5mn suivant l’incident
30 % des services sécurisés via PRA ont été relancés dans les 4h
80 % des services étaient relancés dans les 10h suite à l’incident
95 % des services étaient relancés dans les 14h suite à l’incident
Merci aux équipes qui se sont mobilisés à 200 % pour réussir ce tour de force.
Le réseau électrique du datacenter, sécurisé par onduleurs et générateurs, est resté nominal pendant l'incident (continuité d’alimentation EDF sans bascule sur onduleurs et générateurs au moment de l’incident). Un défaut sur le réseau électrique est toutefois survenu puisque certaines baies du datacenter ont disjoncté. Par mesure de précaution, dès que nous avons eu connaissance d’un incendie proche et n’ayant pas d’informations sur la qualité du réseau électrique, le datacenter s’est effacé du réseau EDF et a fonctionné en autonomie électrique sur groupe afin de l’isoler jusqu’à la fin des travaux en cours (De 11h22 à 18h44)
Analyse :
Un incendie s’est déclaré dans un local technique électrique de la zone où est situé le datacenter à environ 300m du datacenter. L’intervention des pompiers a rapidement permis de maîtriser l’incendie (11h30). Plusieurs compteurs d’alimentation ont brûlé. Les câbles électrique alimentant le circuit de surveillance du datacenter ont été endommagé.
L’alimentation électrique de puissance du datacenter n’a pas été touché par l’incendie (autre circuit et local).
Les circuits d’alimentation des baies sont, quand à eux, indépendants du réseau électrique qui a subi l’incendie. Un défaut de terre commune est suspecté permettant de lier les deux incidents. Un diagnostic poussé est en cours. Nous précisons que le datcenter est soumis a un contrôle Apave chaque année. Le dernier a eu lieu en janvier 2021 et n’a identifié aucun défaut.
Plan d’action :
Les équipes DRI sont concentrés sur la relance des services restant en défaut.
L’analyse des causes n’étant pas complètes, il est trop tôt pour communiquer un plan d’action sur le traitement des causes de fond. Celui-ci sera établi dès retours d’analyse pour corriger ce défaut inhérent aux infrastructures datacenter...
A propos