Три слоя: data (schema, missing, PSI), model (score distribution, latency, calibration), business (KPI, guardrails). Алерты, владельцы, runbook переобучения/отката.
Разбор
- Разделить canary и full traffic.
- Слепые зоны без размеченного online.
- Стоимость ложных алертов.
- Версии модели и фич в логах.
Итог
Мониторинг ML — здоровье входа, скора и бизнес-эффекта вместе.