Cooperativa de crédito enfocada en profesionales de la salud, Unicred necesitaba mantener su sistema transaccional tan disponible como el de un gran banco. Con observabilidad por producto, el Command Center 24x7 de Elven y un proceso de Incident Commander, las crisis se volvieron la excepción y la operación empezó a actuar antes del impacto.
+
El desafío
Unicred es una cooperativa de crédito cuyo público está formado, en su mayoría, por médicos y profesionales de la salud. Por ser una institución financiera, opera bajo la regulación del Banco Central de Brasil y frente a un cibercrimen cada vez más sofisticado. El cooperativista también puede usar otros bancos, así que la experiencia digital necesita competir con ellos.
Sin embargo, la operación creció más rápido que su estructura. Hasta hace poco, la empresa vivía al menos una sala de guerra por semana, con 4 a 8 horas de duración y de 50 a 80 personas de varias áreas, dirección incluida. Había buenos profesionales, pero herramientas dispersas y desconectadas: para encontrar la causa raíz, era necesario reunir a alguien de base de datos, de redes, de infraestructura, de logs y de cada aplicación, navegando por decenas de paneles.
"Teníamos mucha suerte. Había cosas que salían bien y no sabíamos cómo. Hoy estamos mucho mejor estructurados." — Cristiano Nes, Unicred
La solución
El primer paso fue ver el entorno. En un grupo de trabajo intensivo en 2024, Unicred instrumentó la producción con APM en aproximadamente una semana, reuniendo infraestructura, plataforma y producto en la misma sala. A partir de ahí, armó con los equipos un modelo de observabilidad por producto, con paneles, indicadores y SLOs replicados para cada vertical.
Después, la observabilidad llegó también a los entornos de pruebas y homologación, con recolección de logs, métricas y traces sin exigir ningún cambio a los equipos de producto. Los problemas empezaron a aparecer antes de llegar a producción.
Operación y respuesta a incidentes
Con Elven, Unicred estructuró el Command Center, una operación 24x7 que acompaña el entorno todo el tiempo. Sobre esa base, las dos empresas implantaron el rol de Incident Commander: cuando algo se sale de control, abre la sala, convoca a los responsables, escala y conduce el incidente hasta el final, incluso de madrugada, cuando hay menos gente disponible.
Con esto, la operación dejó de depender de una persona específica y pasó a depender de un proceso. Quien investiga el problema se concentra en resolverlo, y el mando, la comunicación y la documentación quedan a cargo de roles definidos, como exige un entorno regulado.
"Además del Command Center, la operación 24x7 que lleva Elven, implementamos el Incident Commander. El que reporta no puede ser el que resuelve." — Cristiano Nes, Unicred
De la sala de servidores al data center en Equinix, del soporte "a pura buena voluntad" a una operación con roles claros: la evolución se construyó por etapas, con errores, ajustes y constancia.
Data center en una sala de servidores, sin monitoreo integrado. El soporte se hacía con guardias pasivas, con un equipo ayudando al otro.
En marzo de 2020 comienza la operación de monitoreo y NOC 24x7, todavía con otro proveedor.
Dos años de intercambio de ideas hasta la decisión. Lo que pesó fue la afinidad de mindset: una relación de alianza, y no de proveedor.
Instrumentación de la producción en una semana, modelo de observabilidad por producto y la operación 24x7 con Elven.
DevOps junto a los equipos de producto, un equipo de ingeniería de confiabilidad enfocado en observabilidad y una ingeniería de plataforma dedicada.
Pipeline estandarizado para todos los servicios, observabilidad en homologación y rituales preventivos que anticipan los problemas antes de la crisis.
Menos crisis, salas más pequeñas y más cortas, y una operación que actúa según el comportamiento del entorno, antes de que el impacto llegue al cooperativista.
Los incidentes que paralizaban a la empresa cayeron de forma expresiva ya en el primer año, y la meta es seguir reduciendo el residual.
En lugar de 50 a 80 personas durante horas, cada incidente reúne a quienes realmente lo resuelven, con la causa raíz identificada y la acción definida.
Command Center e Incident Commander garantizan respuesta a cualquier hora, apoyados en procesos y roles, no en la disponibilidad de una persona.
Los cambios de comportamiento después de una ventana de cambios se perciben pronto, y el equipo actúa antes de que se conviertan en crisis. Las salas preventivas reemplazaron la búsqueda de culpables.
Pruebas y homologación instrumentadas con logs, métricas y traces, sin trabajo extra para los equipos de producto.
Pipelines que tenían cerca de 100 líneas pasaron a tener 10, con calidad, seguridad y GitOps integrados. La migración alcanzó el 100% de los servicios en la mitad del plazo.
El negocio tiene que ser bueno para ambas partes. No lo tratamos como proveedor, sino como socio, y el mindset de Elven coincidía mucho con lo que pensábamos.
La alianza
Elven acompaña a Unicred desde la formación de los equipos en SRE y nube hasta la operación del día a día. El trabajo fue más allá de la herramienta: implicó definir roles de respuesta a incidentes, crear rituales preventivos y llevar a la operación prácticas de SRE como blameless, launch checklist y shift left.
El resultado es una cultura en la que el uso de las herramientas se extiende de forma orgánica a otros equipos, y en la que la disponibilidad deja de ser un "problema de infraestructura" para convertirse en una responsabilidad compartida.
Por qué funciona
Ninguna etapa salió perfecta al primer intento. Los nombres de los equipos cambiaron, las estrategias se reformularon y algunos modelos no funcionaron. Lo que marcó la diferencia fue la constancia: avanzar un poco cada semana y mirar hacia atrás después de un año para ver el tamaño del cambio.
"A veces parece que avanzas poco cada semana. Luego miras hacia atrás, un año después, y hay mucha diferencia." — Bruno, Elven
Al igual que Unicred, cuenta con Elven para observabilidad, Command Center 24x7 y respuesta a incidentes, con procesos y roles claros.
