BERTScore/смысловые похожести, QA-based factuality, человеческие критерии (информативность, верность), для abstractive — проверка галлюцинаций; ROUGE оставить как дешёвый proxy.
Разбор
- Референсов может быть много валидных.
- Домен медицина/право — верность важнее беглости.
- Длина саммари влияет на ROUGE.
- A/B на пользовательских задачах.
Итог
Смысл и верность не сводятся к n-граммному ROUGE.