Accuracy отбросить; смотреть PR-AUC, recall@precision, Fβ под costs, калибровку и бизнес-value. ROC-AUC может быть излишне оптимистичен.
Разбор
- Зафиксируйте operating point.
- Отчёт по confusion при выбранном пороге.
- Раздельные метрики по сегментам.
- Базовый rule-based для сравнения.
Итог
При редком классе оптимизируйте полезный режим работы, не «среднюю долю верных».