Bootstrap по пользователям/документам, аналитические приближения через delta method для precision/recall, байесовские Beta-модели на TP/FP/FN; избегать наивной нормали на малом support.
Разбор
- Стратификация по классу важна при дисбалансе.
- CI для разности F1 двух моделей — парный bootstrap.
- Макро vs микро F1 — разные единицы.
- Репортить support классов.
Итог
F1 — нелинейная метрика; неопределённость считают симуляцией или аккуратной дельтой.