ProfesionalAutomatización de fiabilidad

Remediación automática de fallos HTTP 503 en Azure

La telemetría de Application Insights y reglas de alerta de Azure Monitor basadas en KQL detectan degradaciones HTTP 503 y disparan un runbook de Azure Automation que reinicia las máquinas virtuales afectadas, sin intervención humana.

Rol
Diseño e implementación
Contexto
ALIANDO · Área Managed Services
Periodo
2025

01Resumen

Un modo de fallo recurrente con una solución conocida es candidato a automatización. Diseñé e implementé un ciclo cerrado en Azure que detecta errores HTTP 503 a partir de la telemetría de la aplicación y reinicia automáticamente las VMs afectadas.

02Contexto

Aplicaciones alojadas en Azure sobre máquinas virtuales, operadas por el área Managed Services de ALIANDO, en las que los fallos HTTP 503 (Service Unavailable) requerían que un operador detectara la degradación y reiniciara el servicio.

03Problema

Cada incidente 503 dependía de una persona — alguien debía ver la alerta, diagnosticar y reiniciar la VM. El tiempo de recuperación lo marcaba el tiempo de respuesta, no lo que tarda la solución.

04Mis responsabilidades

  • Diseñé el flujo de detección y remediación de extremo a extremo.
  • Escribí las consultas KQL de las reglas de alerta.
  • Implementé el runbook de Azure Automation que reinicia las VMs afectadas.

05Arquitectura

Application Insights recoge la telemetría de peticiones de la aplicación. Una regla de alerta de logs de Azure Monitor evalúa una consulta KQL sobre las respuestas HTTP 503; cuando se dispara, un action group invoca un runbook de Azure Automation escrito en PowerShell que reinicia las máquinas virtuales afectadas.

ArquitecturaDetección y remediación en ciclo cerrado
Detección y remediación en ciclo cerradoLa aplicación en VMs de Azure envía telemetría a Application Insights. Una regla de alerta de Azure Monitor ejecuta una consulta KQL sobre respuestas HTTP 503 y, cuando se dispara, un action group invoca un runbook de PowerShell en Azure Automation que reinicia las VMs afectadas.Azure MonitortelemetryKQLdisparainvocareinicia las VMs afectadasAplicaciónAzure VMsApplication Insightstelemetría de peticionesRegla de alertaKQL · HTTP 503Action groupAutomation runbookPowerShell
  • Servicio de Azure
  • Observabilidad
  • Entrega y automatización
Descripción textual del diagrama

La aplicación en VMs de Azure envía telemetría a Application Insights. Una regla de alerta de Azure Monitor ejecuta una consulta KQL sobre respuestas HTTP 503 y, cuando se dispara, un action group invoca un runbook de PowerShell en Azure Automation que reinicia las VMs afectadas.

Flujos

  • Aplicación → Application Insights (telemetry)
  • Application Insights → Regla de alerta (KQL)
  • Regla de alerta → Action group (dispara)
  • Action group → Automation runbook (invoca)
  • Automation runbook → Aplicación (reinicia las VMs afectadas)

Componentes

Aplicación · Application Insights · Regla de alerta · Action group · Automation runbook

06Stack tecnológico

Detección
  • Application Insights
  • Azure Monitor alert rules
  • KQL
Remediación
  • Azure Automation
  • PowerShell runbook
Destino
  • Azure Virtual Machines

07Enfoque de implementación

  • Detección basada en la telemetría de la aplicación, de modo que la señal es lo que experimentan los usuarios — respuestas 503 — y no una métrica indirecta del host.
  • Lógica de alerta expresada en KQL, lo que mantiene la regla explícita, revisable y fácil de ajustar.
  • Remediación implementada como runbook de Azure Automation, de modo que la solución es siempre la misma acción scriptada.
  • Integración nativa de la plataforma — regla de alerta → action group → runbook — sin infraestructura adicional que operar.

08Retos y decisiones de ingeniería

  1. Reto

    Distinguir una degradación real del ruido.

    Decisión

    Basar la alerta en una consulta KQL sobre la telemetría de peticiones, donde condiciones y umbrales se expresan con precisión y se ajustan sin tocar la remediación.

  2. Reto

    Hacer la remediación repetible y segura para ejecutarse sin supervisión.

    Decisión

    Encapsularla en un único runbook limitado a reiniciar las VMs afectadas, en lugar de un conjunto más amplio de acciones ad hoc.

09Consideraciones de seguridad

  • Un runbook desatendido debe ejecutarse con una identidad que solo tenga los permisos necesarios para reiniciar las VMs objetivo.
  • Mantener la remediación acotada (solo reinicio) limita el impacto de un falso positivo.

10Consideraciones operativas

  • La recuperación ya no espera a que un operador responda a la alerta.
  • El histórico de alertas y de ejecuciones del runbook deja constancia de cada intervención automática.
  • Reiniciar es una mitigación, no una corrección de causa raíz — las recuperaciones automáticas siguen visibles para su seguimiento.

11Resultados e impacto

  • Fallos HTTP 503 detectados y remediados automáticamente, sin intervención humana.
  • Respuesta más rápida ante un modo de fallo conocido y recurrente.

12Lecciones aprendidas

  • Automatizar soluciones conocidas para fallos conocidos, y mantener la automatización tan acotada como la solución.
  • Alertar sobre señales que ve el usuario produce una automatización más significativa que alertar sobre indicadores de infraestructura.