Калибровка: среди объектов с score≈0.8 доля позитивов ≈0.8. При сдвиге base rate между train и prod калибровка ломается; нужны rescale (Platt/isotonic) и мониторинг.
Разбор
- AUC может быть высок при плохой калибровке.
- Decision thresholds зависят от costs и prevalence.
- Reliability diagrams — базовый отчёт.
- Temperature scaling — простой пост-хук для нейросетей.
Итог
Хороший ранг скора ≠ честные вероятности под текущий base rate.