edición general
258 meneos
4669 clics
Incendio en OVH destruye centro de datos (ENG)

Incendio en OVH destruye centro de datos (ENG)

Ésta madrugada se ha producido un incendio en el centro de datos SBG de OVH, quedando fuera de servicio

| etiquetas: incendio , ovh , sbg
«12
  1. La nube, la nube. La nube no existe, es el ordenador de otro.
  2. #14 Yo vivi el tener que recuperar datos de un armario ignífugo. Los recuperamos pero:
    1- El edició de desmoronó sobre el armario ignífugo. Sólo pudimos acceder a ella en el desmonte del edificio. Nos la saco el que utiliza esa máquina con unas tijeras inmensas que corta hormigón y vigas de acero
    2-No teníamos las llaves. Estaban en un escritorio que se quemó. El de la máquina de las tijeras le reventó las bisagras.
    3-Resulta que el armario era ignífugo, pero no hidrófugo. Dentro había agua. El agua que echaron los bomberos para apagar el incensiose coló dentro, probablemente en forma de vapor.
    4-Al reventarse la caja fuerte, las cintas húmedas calleron al suelo, entre restos de ceniza y escombros.
    Para ahorrar espacio muchas cintas estaban sin la caja de plástico y quedaron rebozadas.

    5-Consegui recuperar datos de esas cintas. Allí estaban los históricos. Por suerte la copia del día anterior estaba en otro edificio.
  3. #4 100€/año sin limite de trafico una máquina con 20GB y 2 cores.

    Una maravilla.
  4. #17 - ¿El servidor?
    - Esa pila de cenizas de ahí
    - Tenemos backup, ¿verdad?
    - Si, la pila de cenizas de al lado
  5. #17 #9 con OVH tus datos están en la nube… de humo :troll:
  6. #8 Ya lo advirtió Dilbert allá por el año 2000 :-)  media
  7. He montado y gestionado centros de datos y no entiendo cómo ha podido arder.

    If your production is in Strasbourg, we recommend that you activate your Business Recovery Plan.

    Hay mogollón de empresas que no tienen redactado ni el título de eso. Es modo muerte para ellos.
  8. #8 ya hay algún comentario en Twitter en plan: "mis servidores están ahí, y mis snapshots y backups también".
  9. Ver bomberos echando agua a chorros en un data center es de una sensación indescriptible....
    www.dna.fr/amp/faits-divers-justice/2021/03/10/strasbourg-important-in
  10. #4 Todavía recuerdo ese día. Tenía un proyecto que había levantado prácticamente entero yo y ese día teníamos una presentación. Había estado hasta el día anterior puliendo cosas, dejándolo fino y me voy a cama y un pensamiento se me cruza por la cabeza "vas a ver como mañana se cae el servidor".

    Pues a las 8 de la mañana (me había acostado sobre la 1, después de estar desde las 9 de la mañana delante del ordenador) y me dice Rubén "Oye Carlos, que estamos llegando a cliente y está todo caido". Salgo corriendo como una centella hacia mi PC, lo enciendo y veo que efectivamente está caído. Hago unas comprobaciones en lo local, el sistema de despliegue y el servidor no responde y yo ralladisimo. Se me da por entrar en twitter y buscar OVH.

    PUM!

    Todo OVH caído. Llamo a mi jefe y le cuento la situación. Se caga en la madre que parió OVH y saco la opción offline, del sistema (básicamente unos videos demostrativos de la web) y capeamos el temporal.
  11. #9 La nube también tiene redundancia si estás dispuesto a pagar por ella. Sin problemas de presupuesto, la nube es la mejor opción para casi todo.
  12. Se me acaba de ir atpc el server de correo y un servicio web...

    Y tenía el plan más barato. A ver si se salva algo... o_o
  13. #6 ¿Has visto alguno de esos sistemas en funcionamiento? Porque tenerlos no implica que en caso de un incendio gordo logres salvar algo. Si el incendio se provoca dentro del CPD, (casi) seguro que no tienes problemas, aparte de los derivados del hollín, pero si el incendio se produce fuera, pero en el mismo edificio, tu sistema de extinción es posible que solo sea de adorno.

    Seguro que también has tenido copias de seguridad dentro de un armario ignífugo, pero aparte de tenerlo hay que saber que dicho armario solo aguanta unos minutos al fuego, por lo que también tienes que tener copias en otro edificio, a ser posible en otra falla tectónica.
  14. #11 A ver si encuentro el artículo de un experto en gestión de datos que ironizaba sobre los backups de los centros de datos de una de las torres gemelas, que se guardaban en la otra torre, y que todos sabemos como resultó. Dice la leyenda que una de las razones del comienzo del declive de Sun Microsistems fue el perder muchos de sus datos de facturación debido a esta "situación".
  15. #21 El problema de usar contenedores
  16. #1 Una copia no es suficiente, dice el refrán, y recuerda que tienen que estar en localizaciones diferentes, y no en la torre de al lado (recuerda las torres gemelas).
  17. #14 Joder que si he visto...xD

    Recuerdo uno que hubo que salir por patas porque a un fiera de mantenimiento de aire acondicionado no se le ocurrió otra mejor que descongelar una maquina de aire con un soplete. Salimos por patas pero eso no fue lo mejor, lo mejor fue que resulta que aquel CPD (o me pregunte por qué) tenía extinción por.... ¡AGUA! Dios, aun recuerdo al día siguiente servidores puestos contra la pared de pie para que soltasen el agua.

    Temas curiosos a parte, la semana pasada me tocó ir a Tecnoalcalá y efectivamente, los sistemas antiincendio más gordos (pero no los únicos) están dentro de las salas, pero los accesos a esas salas es mediante puertas estancas antifuego que deberían sectorizar el riesgo, quiero decir, que más allá de que se te fueran a la mierda las acometidas de datos y eléctrica (que quizás sea lo que ha pasado), el resto no debería verse afectado.

    De todas maneras, la realidad suele ser muy japuta, y puedes tenerlo todo pensado y demostrarse que lo tenías "casi" todo pensado.

    Lo de los armarios ignífugos efectivamente, tienen unas certificaciones que son tantos grados tanto tiempo, pero suelen ser bastante resistentes, pero no impenetrables. Yo siempre he confiado más en copias separadas físicamente=geográficamente.
  18. Historia de terror
    1. Desarrollador A crea un software q se ejecuta en OVH
    2. A no sabe que es un control de versiones ni le importa
    3. A se va de mala manera de la empresa y antes de irse borra su PC
    4. Desarrollador B encuentra una copia del codigo fuente del software pero no es la ultima version
    5. Empresa sigue usando el software xq Mr B no tiene tiempo para solucionar el problema
    6. Empresa decide que Mr B no es muy bueno y me contrata a mi
    7. Yo me largo de la empresa antes de tener tiempo de mirar ese software
    8. Empieza uno nuevo Mr C
    9. OVH arde y con ello se pierde el Servidor donde se ejectutaba todo
    10. El software original se pierde
    11. Empresa me llama a mi a ver si x casualidad yo tengo una copia del software (A y B se fueron de mala manera asi que no son una opcion)

    No habia dinero para contratar un sysadmin, ni para copias de seguridad, ni DR, ni largarse de OVH... ni para actualizar ese software ...
    Las chapuzas no solo pasan en Spain :-D:D:D
  19. #21 The cloud is on fire. Follow the leader leader leader.....
  20. #38 Increíble. Yo tenía 5 copias de mi proyecto fin de carrera, en los tiempos donde aún no tenía internet: la de trabajo en mi equipo, un zip en mi equipo, una diaria en un cajón de la mesa de trabajo, y dos semanales en lugares diametralmente opuestos de mi casa.
  21. #41 Parte de SBG1 también ha sido destruido. Yo tengo una máquina por ahí. Por suerte tengo copia de seguridad, pero veremos como está el tema.

    > Decir que no me han mandado ni un triste email de aviso....

    Tendrán el servidor de correo en SBG2... xD
  22. #4 Si no necesitas que te administren nada es difícil de superar en Europa, al menos.
  23. Me acabo de cargar encima y de forma literal no metafórica.... Todo está en Gra1 menos mal
  24. #15 Un cliente tenía el principal y el backup en dos pisos distintos del mismo edificio en un colocation con una aerolinea (no puedo decir más). Hubo un incendio, y hubo que correr para ampliar las comunicaciones hasta donde tenían la maqueta que mágicamente se convirtió en su host de producción.

    Moraleja: ten en sitios separados producción, respaldo, y desarrollo. Ahora con la nube, TAMBIEN.
  25. #72 Que sepa usted que su comentario hilando fino no ha pasado desapercibido :clap: :-D
  26. #25 lo del Halon se trata de llenar la estancia con ese tipo de gas, que tiene la capacidad de detener las reacciones químicas y sofocar el fuego rápidamente, además de la ventaja de que no deja residuos en las máquinas. El sistema debe avisar antes de soltarlo, el problemilla es que si no has salido a tiempo y lo respiras es súper tóxico. Y también que es muy contaminante.

    Lo que comenta #20 de secuestrar el oxígeno, creo que se refiere a los sistemas que sustituyen el aire de la estancia con un gas inerte, desplazando el oxígeno, pero en cualquier caso se reduce hasta un nivel que reduce la combustión sin ser mortal para las personas.
  27. No lo entiendo. En todos los todos en los que he estado el sistema antiincendios era algo esencial. De hecho, estaban más pensados para salvaguardar la integridad de los equipos que si eras un currito, que tenías muchas posibilidades de quedarte como un pajarito allí.
  28. #73 La urgente solo era una. Una DAT de un sistema de venta online que seguia en alpha y solo tenia una usuario diario (no demasiado crítico). Esa aun conservaba la caja y solo tenia un poco de humedad de condensación en el interior. La deje secar y restauro sin problemas.
    Las otras (DLT's) las deje en un cajon. Al cabo de un tiempo por puro morbo, probe de catalogar una de las que estaban sin caja, la que tenia el mínimo de suciedad. La limpie externamente y funciono sin problemas.
    Realmente la información estaba en la bobina de cinta, y esas cintas llevan un monton de redundancia, así que si el sustrato magnetico esta bien y la cinta sigue siendo flexible, sigue sigue siendo posible leerlas. Lo que si podria pasar es que el polvo dañase los cabezales de lectura, o los mecanismos físicos de la DLT. El calor podria estropearlas, pero de origen pueden aguantar hasta 52 grados C, de forma puntual.

    Aunque ya no esta de moda, creo que los sistemas de cinta siguen siendo una buen seguro como opción de restauración de ultimo recurso.
  29. #25 La extinción de incendios no se hace con agua en un CPD. La lias parda de verdad si rocías agua.

    Se hace, generalmente, con un gas que "se come" literalmente el oxígeno en segundos. Antes se usaba Halón, un gas extintor pero al ser un CFC y ser tóxico se retiró y se sustituyo por otros gases, Inergén por ejemplo.
    Estos nuevos desplazan al oxígeno.

    El disparo es que se descargan las botellas de gas en la sala y se extingue el incendio por secuestro o desplazamiento del oxígeno. Vamos, que no dejas el oxígeno disponible para el fuego y este se ahoga.

    Se ahoga el fuego y los que estén en la sala si no sales cagando leches.
    Si el fuego no respira, el técnico o el operador de sala, tampoco.
    Se activa una sirena fuerte en la sala y en la central de alarmas del edificio.

    Salieron de la sala del CPD nada más.
  30. #8 Las hay que no saben ni lo que es un DR (acabo de hablar con una de esas...)
  31. #35 Y más caro. Las pymes muertas de hambre prefieren pagar X euros al año por un hosting y olvidarse de problemas, que tener que comprar un ordenador, tenerlo siempre enciendido, pagar la ip fija, pagar el montaje de los servicios, etc.

    Yo llevo dos pymes con servidor propio y lo han hecho por la falsa sensación de seguridad de que como tienen el ordenador en sus instalaciones, creen que es más difícil que haya accesos indebidos, que les roben los datos, etc.
  32. #87 Estuve en OVH y en 1&1. OVH bueno, daba quebraderos de cabeza pero podía vivir con ello; pero a 1&1 no vuelvo ni aunque sea el último proveedor del planeta, menudo trato de mierda al cliente :ffu:
  33. #6 por ahí el leido que el gas halón está prohibido en la UE
  34. #77 pero había copia o no?, que si no hoy no duermo!
  35. #12 y simulacros periódicos de recuperación efectiva para no enterarse de que no funciona cuando haga falta que lo haga
  36. #70 ¡El mismo uso yo!
    Antes estaba en Amazon ec2, pero hetzner da un precio mucho más ajustado, ¡y va igual de bien!
  37. #13 En cambio sí que se permite el argón para la protección antiincendios de CPD's.
  38. #88 se llama cpd containerizado, hace unos años la empresa instalador apara oa que trabajaba hicimos uno en Barcelona, si están bien hechos no tienen porque ser malos, incluso al contrario. De hecho la principal ventaja es que se levantan en meses (viene hechos el interior en un taller,hasta el cableado lo traen preconectoeizado) y se pueden rehacer en unos años desde cero, se quitan los viejos pones otros nuevos y a correr. Asi aprovechas mucho mejor espacio y estas al dia de tecnologías, sobre todo de climatización.
    Pero claro hay gamas y gamas de cpd containerizados... Igual prescindieron de la extinción adecuada, o del mantenimiento....
  39. #4 Depende de lo que tengas ahí. Para chorradas personales, sí.
  40. #128 claro, pero entonces ya no es tan barato.
  41. #18 Esa silla manteniendo la puerta antifuego abierta porque alguien estaba trasladando servidores.
  42. #4 Un problema cada 3 años no está mal y esto ha sido un incendio. Mira cuando se cae Amazon y te tira MNM xD xD

    Además, ultimamente los servicios de hosting se han subido mucho a la parra. Entre otras cosas porque goDaddy se ha ido haciendo con la competencia. Así que uno con un precio normal, se agradece
  43. Gente, no dejéis nunca de lado los backups físicos. Yo tengo backups en la nube, pero los físicos los sigo manteniendo "por lo que pueda pasar".
  44. #92 Y si te digo que lo que se ha perdido es el sistema de contabilidad :-D historico incluido
    No solo es un marron tener que facturar a mano este mes sino que legalmente estan en un lio

    Pagaria por estar en alguna reunion hoy explicando que ha pasado y xq no hay solucion
  45. #6 Habra que esperar a conocer los detalles... pero si, resulta increíble.
  46. #57 "Simulacros periódicos de recuperación efectiva" xD xD
    De todos mis trabajos creo que solo en uno he realizado algún tipo de "simulacros de recuperación efectiva". En el resto, solo esperan a que un Ransomware arrase sus equipos para "planificar" uno, e incluso en alguno de ellos no tenía cintas suficientes para "exportar" afuera, por lo que la información almacenada fuera del edificio era francamente escasa, e inútil ante cualquier escenario que implicara una recuperación completa.

    Solo tienes que mirar las noticias de la SEPE, para ver todo lo que no se suele hacer:

    www.meneame.net/story/web-sepe-restaurada-desde-wayback-machine-archiv
  47. #66 yo me acuerdo de una vez en un hospital donde trabajaba se hizo un simulacro. No se que coño hizo el técnico externo que lo volcó en los equipos en producción y se cargo los datos reales. Para colmo los de backup no recuperaban y se perdieron todos los datos.
    Se pudieron recuperar la mayoria por una copia de la BD que habia hecho uno de los programadores en su portátil en la que hacía pruebas.
    Claro está que hoy en día con las. Máquinas virtuales es más fácil, pero ese entonces mucho era tener un robot de copias y no un señor que por la noche solo cambiaba cintas
  48. #38 Me recuerda a un estudiante de doctorado que me vino con un pen-drive inaccesible, donde tenía su única copia. Una copia nunca es suficiente.
  49. #38 Diles que cuando rehagan todo el trabajo perdido, seguro que lo hacen mejor :troll:
  50. #1 jaja a mi me ha dado un escalofrío, menos mal que no ha sido en RBX
  51. #75 Yo a uno que su tesis la tenía en un ordenador y su casa se incendió, y luego no le arrancaba, así que la hizo de nuevo de cero. Cuando me lo comentó le dije que si había probado a ver si el disco duro había sobrevivido al incendio, porque podían haberse estropeado otros componentes pero el disco seguir intacto, y me dijo que no. También le informé de que hay empresas que consiguen extraer información de discos dañados. Menuda cara se le quedó.
  52. #33 A mí no me ha pasado en AWS en tres años. Caída de servicio durante toda la mañana porque se han quedado sin internet.
  53. Se supone que los servidores de datos están en bunqueres a prueba de incendios terremotos y otras cosas.
    Parece ser que nuestros datos están en edificios de oficinas donde si alguien no apaga bien una colilla se pega fuego el edificio y se pierde todo
  54. su firewall parece que no era muy bueno
  55. #9 Cierto, pero montar un hosting privado en un equipo propio para servir una web empresarial sencillita es bastante complejo para una pyme normal y te acabará dando más problemas.
  56. #34 Una curiosidad, de esas cintas "rebozadas", ¿se pudieron usar, o solo recurriste a las que aguantaron "el chaparrón"?, si se pudieron usar, ¿cómo se consigue?
  57. #55 yo conocí a uno que tenía la única copia de su tesis sin presentar aún en un floppy que daba errores de lectura :-0
  58. #107 Muy mal suena lo que cuentas. Que uno de los programadores tenga una copia con datos reales de un hospital en su portátil es más que preocupante.
  59. #118 Si, entonces ya se vendían datos, incluso sin LOPD.
  60. #116 Como arda GRA, te vas a reír
  61. #125 Con tener la infraestructura distribuida entre sus centros de datos es suficiente. La coletilla "si no necesitas que te administren nada" es la correcta, implicando que todo, y eso incluye HA y Backup, lo tienes que gestionar.
  62. #79 Las empresas de recuperación de datos, aparte de poco trasparentes, suelen ser realmente caras. Poca gente puede permitirse lidiar con semejantes usureros.
  63. #98 Si que hay solución. Despedir a todos los responsables de dicho cúmulo de malas prácticas. Ahora todos los incompetentes a escurrir el bulto.
  64. #129 Menudos güebos. La mierda siempre es mucho más barata hasta que salpica, ...
  65. #18 En uno grandote, al norte de Madrid, importante, justo antes de entrar yo a trabajar allí, se produjo el famoso "Disparo de Halón".
    Se disparó accidentalmente el halón de extinción y los que estaban salieron por patas y por los pelos.
    El halón "secuestra" el oxígeno y te quedas sin él en segundos.
    Ya no se usa por ser un CFC.
  66. #63 Bueno, cuando fuimos a buscar las que sobrevivieron (dos juegos dia -1 i -2) me di cuenta lo poco que abultaban, las podias coger con una mano. Al final de la jornada me las lleve a casa con el coche, ya que no tenia donde dejarlas. En ese momento me di cuenta que si tiraba esas cintas por la ventana me cargaba toda la empresa. Por suerte no caí en la tentación.
    Ya no trabajo allí pero me aun sigo encontrando dificultades en gastar en sistemas nuevos de cinta, o en externalizar el sistema de copia.
  67. #53 No, una cadena de supermercardos que acabo comprando el grupo Eroski.
  68. #57 Es necesario tener un protocolo de recuperación de desastres claro y conciso, con copia en papel de los pasos a seguir. Que incluso aunque le caiga un rack de servidores encima al informático tiene que ser posible recuperarlo.

    Lo que dice #78 de desplegar entornos de pruebas desde datos de backups también es fundamental para tener soltura y verificar el funcionamiento. Y tener hardware de repuesto o proveedor en la nube alternativo.
  69. #77 Si tenías la copia se lo tenías que vender a precio de nuevo, hecho por consultora cara :troll:
  70. #81 13 años llevo yo en Hetzner... sólo tu ve un problema porque el disco duro que tenía llevaba 10 años sin cambiarse xD

    Por suerte tenía dos balanceados y copias de seguridad de todo, lo cambiaron y listo.
  71. #10 No pasa nada, eso luego lo pones en arroz y solucio... :shit:
  72. #13 ¿Desde cuándo? Porque sé de un edificio que se suponía que lo tenía así.
  73. #56 Ambos.
  74. #39 Ah, vale, yo lo supe antes, pero no sé si lo cambiaron, supongo que sí.
  75. Suerte #2
  76. Después del problema de hace tres años que les dejó sin Internet medio día, ¿tan barato es OVH que compensa?
  77. #4 Es barato pero limitado en muchas cosas. Yo estaba en su día y me mudé. Depende de lo que cada uno necesite.
  78. #12 el susto fue por qué no me acordaba donde estaba mis servidores.

    Y lógico que el bkp está en otro sitio
  79. #37 parece que desde 2000, porque es un gas CFC
  80. #28 ¿Eso te dijo Rubén? ¿Pero Rubén García o Rubén Pérez?
  81. #2 Ya somos tres. Yo tenía un cloud server y no puedo acceder...
  82. #4 #5 Buf, yo he trabajado con algún cliente que tiene OVH y siempre es un horror.
  83. #78 Yo restauro todas las copias de las bbdd como fase final de la copia en un servidor oob. Si la copia no se levanta y los datos no son accesibles > exit 1 :-)
  84. #87 el 1&1 es morralla para que una panadería tenga una web y un correo electrónico. las empresas mínimamente decentes no usan 1&1
  85. #66 que cabrón, has ido a pillar
  86. #137 Sobre las copias de seguridad, deberían tenerlas e intentar restaurarlas lo antes posible. Al no funcionar muchos servicios, es lógico pensar que el sistema de redundancia de datos no lo tienen operativo o directamente no cubre lo necesario.
    Puedes ver desde el panel de control dónde tienes tus datos alojados.

    Aquí van actualizando info: www.ovh.es/noticias/prensa/cpl1785.incendio-recinto-estrasburgo

    Según ellos:
    ----------------------
    Status of Strasbourg Datacenter
    SBG1 : Network Room is OK - 4 room destroyed - 8 Rooms OK
    SBG2 : Destroyed
    SBG3 : UPS Down - Check server still in progress
    SBG4 : No physical impact

    No restart today for SBG1,SBG3 and SBG4

    Plan for the next 2 weeks:
    1)Rebuilding 20KV for SBG3
    2)Rebuilding 240V in SBG1/SBG4
    3)Verifying DWDM/routers/switchs in the network room A (SBG1).
    Checking the fibers Paris/Frankfurt
    4)Rebuilding the network room B (SBG5) cheking fiber Paris/Frankfurt
    ----------------------

    Es decir, no tienen ahora mismo ni instalación eléctrica y la prioridad es evitar nuevos daños y restaurar energía y conexiones.
    Si tienes los datos en SBG2 como yo, olvídate que esté disponible a corto plazo (semanas). No han mencionado que disponen de datos replicados en otros datacenters en ningún momento, y es lo primero que se haría de ser así...

    Resumen: nadie sabe cómo ha pasado esto, los usuarios están pidiendo que se restablezca el servicio ya, y los técnicos allí seguramente estarán recorriendo a oscuras pasillos llenos de agua, escombros, humo y materiales fundidos que difícilmente se asemejarán a un disco duro o un router.
  87. #140 Acaban de colgar un FAQ con todas esas preguntas
    help.ovhcloud.com/es-es/faq/strasbourg-fire/
  88. #20 Puedes ampliar eso del "Disparo del halón" Y de donde salieron del edificio, planta?...

    La verdad que mi conocimiento sobre centros de datos es nulo.
  89. Dos de mis estudiantes de doctorado tienen sus datos allí... No sabemos si se han perdido.
  90. #46 Se puede ver por el panel de control, aunque de memoria no recuerdo donde
  91. Se ha visto a este individuo dejando unas Raspberry's Pi conectadas a la red...  media
  92. #1 lo mismo me ha pasado a mi. Salvados de milagro.

    ¡Viva Gravelines! :-)
  93. #46 En el Manager de OVH te tiene que venir, al clicar en la info de tu VPS/Servidor dedicado.
  94. #82 Me lo imagino, ahora mismo todo dios tiene que estar entrando en el manager y estará colapsado :-(
  95. #85 Jajaja, no tengo copia por supuesto
  96. #1 Joder, yo lo acabo de leer ahora y me ha dado un vuelco el corazón. Tengo 3 VPS con infinidad de cosas montadas y, por un momento, me he temido lo peor (aunque ya le extrañaba que no me hubiera llamado nadie). He entrado a comprobarlo y los 3 están en GRA. {0x1f630}
«12
comentarios cerrados

menéame