Стратифицировать ошибки по сегментам, найти доминирующие failure modes, проверить лейблы, добавить фичи/данные точечно, завести регрессионные тесты на slices; не только глобальный AUC.
Разбор
- Слепые пятна редких, но дорогих ошибок.
- Confusion между конкретными классами.
- Приоритизация по бизнес-стоимости.
- Повторный замер на тех же slices.
Итог
Error analysis превращает метрику в список исправимых дефектов.