Construir un modelo de PD, LGD o EAD es solo la mitad del trabajo. La otra mitad —igual de exigida por auditores y reguladores— es demostrar, de forma continua, que el modelo sigue prediciendo razonablemente bien la realidad. Ese proceso se llama validación y backtesting de modelos.
¿Qué es la validación de modelos y por qué NIIF 9 la exige?
La validación de modelos es el conjunto de pruebas cuantitativas y cualitativas que confirman que un modelo de riesgo de crédito:
- Está calibrado correctamente para la población a la que se aplica.
- Discrimina adecuadamente entre buenos y malos pagadores.
- Sigue siendo representativo del comportamiento actual de la cartera (no solo del histórico usado para construirlo).
NIIF 9 no prescribe una metodología única de validación, pero exige que el ECL reportado refleje información razonable y sustentable. Sin un proceso de validación robusto, es imposible defender ante un auditor que el modelo sigue siendo adecuado.
Diferencia entre validación y auditoría del modelo
Son procesos complementarios, no intercambiables:
- La validación es un ejercicio técnico y recurrente, típicamente ejecutado por un equipo independiente del que construyó el modelo (segunda línea de defensa).
- La auditoría (interna o externa) revisa que el proceso de validación en sí mismo se haya ejecutado correctamente y que sus hallazgos se hayan gestionado.
Backtesting de PD: matrices de migración y tasas de default observadas vs. estimadas
El backtesting de PD compara sistemáticamente la probabilidad de incumplimiento estimada por el modelo contra la tasa de incumplimiento realmente observada en la cartera, típicamente a nivel de cada banda de score o rating.
Como explicamos en PD, LGD y EAD bajo NIIF 9, la PD es un insumo central del cálculo del ECL. Si el backtesting revela que la PD real observada se desvía consistentemente de la estimada —por ejemplo, si los deudores calificados como “bajo riesgo” incumplen más de lo previsto—, el modelo requiere recalibración.
Las matrices de transición (o migración), que muestran cómo se mueven los deudores entre bandas de riesgo período a período, son una herramienta clave tanto para el backtesting de PD como para sustentar los criterios de SICR bajo NIIF 9.
Backtesting de LGD y EAD
El backtesting de LGD compara la pérdida realmente incurrida en los casos de incumplimiento (neta de recuperaciones y costos de cobranza) contra la LGD estimada por el modelo. Requiere un horizonte de observación más largo que el de PD, ya que los procesos de recuperación pueden extenderse por años.
El backtesting de EAD, por su parte, evalúa qué tan bien el modelo predice la exposición efectiva al momento del incumplimiento, especialmente relevante en productos revolventes (tarjetas de crédito, líneas de crédito) donde el saldo utilizado puede variar significativamente antes del default.
Frecuencia y gatillos de revalidación
No existe una frecuencia única válida para todas las entidades, pero las prácticas comunes en la región incluyen:
- Validación cuantitativa completa: anual, como mínimo.
- Monitoreo de indicadores clave (KPI de modelo): trimestral.
- Revalidación extraordinaria, gatillada por eventos como:
- Un cambio estructural relevante en la economía o el sector.
- Resultados de backtesting fuera de los umbrales de tolerancia definidos.
- Cambios significativos en la composición de la cartera (por ejemplo, entrada a un nuevo segmento de negocio).
- Uso prolongado de un overlay sobre el mismo componente del modelo, señal de que el ajuste manual debería convertirse en una recalibración formal.
Métricas comunes: PSI, KS, Gini, calibración
Algunas de las métricas más usadas en validación de modelos de riesgo de crédito:
| Métrica | Qué mide | Uso típico |
|---|---|---|
| PSI (Population Stability Index) | Qué tanto ha cambiado la distribución de la población frente a la muestra de desarrollo | Detectar si el modelo se aplica a una población distinta a la que fue calibrado |
| KS (Kolmogorov-Smirnov) | Capacidad del modelo para separar buenos y malos pagadores | Poder discriminante del modelo de PD |
| Gini / AUC | Capacidad predictiva global del modelo | Comparación de desempeño entre versiones del modelo |
| Test de calibración (ej. Hosmer-Lemeshow) | Si la PD estimada coincide con la tasa de default observada por banda | Backtesting de calibración |
Ningún indicador debe leerse de forma aislada: un modelo puede tener buen poder discriminante (Gini alto) y, al mismo tiempo, estar mal calibrado en niveles absolutos de PD.
Gobierno de modelos: tres líneas de defensa
La validación de modelos se integra dentro del esquema clásico de gobierno de riesgo que también aplica al stress testing, según detallamos en Gobernanza y Reportes de Stress Testing:
- Primera línea: el equipo que desarrolla y opera el modelo (riesgo de crédito o modelística).
- Segunda línea: validación independiente de modelos, reportando hallazgos y recomendaciones.
- Tercera línea: auditoría interna, que revisa la efectividad del propio proceso de validación.
Caso práctico: hallazgo de backtesting y plan de remediación
El backtesting anual de PD de un banco revela que el modelo subestima consistentemente la PD en la banda de score más baja (mayor riesgo), con una tasa de default observada 40% superior a la estimada.
Plan de remediación típico:
- Documentar el hallazgo con evidencia cuantitativa (matriz de migración, test de calibración).
- Aplicar un overlay temporal en esa banda específica mientras se recalibra el modelo (ver Overlays y ajustes cualitativos).
- Iniciar el proceso formal de recalibración con datos actualizados.
- Presentar el hallazgo y el plan de acción al comité de riesgos, con fecha de cierre definida.
Conclusión
Un modelo de ECL sin un proceso robusto de validación y backtesting es, en la práctica, un modelo sin sustento defendible. La disciplina de medir, documentar y actuar sobre las desviaciones es lo que separa un marco de riesgo de crédito maduro de uno meramente formal.
¿Quieres estructurar o fortalecer el proceso de validación de modelos en tu institución? Conoce nuestros programas de Mentoría y Cursos en riesgo de crédito y NIIF 9.