Mea culpa y lo que suceda a continuación.

Lecciones de aprendizaje y procesos de fortalecimiento en Meraki.

Creo, y desafortunadamente he tenido algunos recordatorios a lo largo de los años, que la forma en que un vendedor trata a sus clientes en una crisis dice más sobre sus perspectivas a largo plazo que cualquier magia tecnológica. Si los clientes saben que le importa, vea una transparencia total incluso cuando sea difícil y vea que hace todo lo posible para recuperarse y corregir, querrán quedarse con usted después de todo lo dicho y hecho … porque eso es exactamente lo que esperarían que hiciera su propia organización.

A principios de este mes, eliminamos accidentalmente datos cargados por el cliente para algunos de nuestros usuarios norteamericanos. Esto incluyó planos de planta, páginas de bienvenida y recursos de voz, pero no afectó el funcionamiento de la red o el análisis. En Meraki nos preocupamos profundamente por este fracaso y el trabajo extra y la preocupación que esto creó para nuestros usuarios. Estoy orgulloso del trabajo que el equipo ha realizado para notificar a los usuarios de manera precisa y rápida, para recuperar todos los datos posibles y para hacer que este incidente sea lo más importante posible para nuestra base de usuarios … y ahora como el trabajo para garantizar esto nunca podría volver a suceder comienza, tenemos tiempo para reflexionar sobre la respuesta al incidente, la metodología y la filosofía.

¿Qué salió mal? El jueves 3 de agosto, durante una auditoría de nuestra seguridad y redundancia de datos, se eliminó accidentalmente una política que maneja el vaciado de una carpeta de basura de archivos descartados. Cuando se identificó el error, nuestro equipo intentó restablecer la política. Desafortunadamente, esto se hizo en el nivel jerárquico incorrecto, afectando no solo a la carpeta de basura, sino a todos los datos cargados por el cliente para nuestros servidores de América del Norte. Cuando se identificó el error, la eliminación cesó de inmediato, pero para entonces se habían eliminado muchos miles de archivos, junto con sus copias de seguridad en todo el mundo.

Este fracaso fue un recordatorio doloroso de la lección multisistema que muchos de nosotros aprendimos en la escuela y con frecuencia se enseña con el estudio de caso Therac-25. Ningún sistema único, con un solo dominio administrativo, debe ser el único responsable del éxito crítico de un sistema complejo. A pesar de que nuestro sistema de almacenamiento de datos era redundante en múltiples sitios y altamente confiable, al depender únicamente de ese sistema para preservar la integridad de algunos datos de Meraki, fuimos susceptibles a una falla crítica causada por un solo acto administrativo (aunque una acción altamente controlada para a la que solo cinco ingenieros de Meraki tenían acceso).

Realmente creo que lo que sigue ejemplifica de lo que es capaz el equipo Meraki. Con todos los equipos operando desde un solo sitio, pudieron reaccionar increíblemente rápido para mitigar el impacto y establecer la mejor manera de comunicar un mensaje difícil a nuestros clientes. Durante un fin de semana muy largo y las siguientes semanas, el equipo de ingeniería de Meraki trabajó incansablemente recuperando muchos miles de archivos y construyendo herramientas de tablero para ayudar a los clientes a volver a cargar sus propias copias maestras de datos que no se pudieron recuperar. El éxito del cliente, el soporte, las ventas y los equipos de marketing trabajaron incansablemente para comunicar el estado actualizado a nuestros clientes.

Todos los que dieron un paso adelante para organizar esta respuesta son dolorosamente conscientes de los inconvenientes que este incidente causó a nuestros clientes. Como equipo, lo tomamos como algo personal. Por supuesto, nadie espera que esto les suceda, pero todos somos falibles. La industria de la nube ha experimentado su cuota de desafíos a medida que su adopción continúa creciendo en todos los aspectos de TI. El lado positivo en todos los casos es el aprendizaje rápido y el fortalecimiento de los procesos, lo que beneficia a toda la industria y a todos los clientes.

De parte de todos en Meraki, queremos disculparnos sinceramente por nuestro error, y agradecer a todos los clientes afectados por su paciencia y confianza continua: ha sido humilde experimentar la comprensión y la empatía que se nos ha demostrado desde que se identificó el error. A través de esta experiencia, nos hemos vuelto más fuertes y resistentes, y con las mejoras implementadas, avanzamos, volvemos a centrarnos en simplificar la tecnología para liberar a las personas apasionadas para que se centren en su misión y somos pioneros con valentía en la revolución de TI administrada en la nube.