Чёткие guidelines, пилоты согласия, золотые задания, измерение Cohen's κ/Krippendorff, арбитраж, оплата качества; тестовый набор с повышенной чистотой.
Разбор
- Ambiguous cases — отдельная категория.
- Дрейф инструкций во времени.
- Связь метрик модели с согласием людей.
- Аудит случайной выборки продакшена.
Итог
Качество лейблов — потолок и смысл любой supervised метрики.