Метрики retrieval: Recall@k, MRR, nDCG на размеченных query-passage; золотые пассажи/прокси клики. Генератор не должен маскировать плохой поиск красивым текстом.
Разбор
- Human labels дорогие — слабые эвристики осторожно.
- Гибридный поиск отлаживают по компонентам.
- Срез по типам вопросов.
- Регрессионный набор запросов.
Итог
Сначала измерьте hit документов, потом качество ответа.