BLEU — метрика машинного перевода: precision n-грамм гипотезы относительно референса(ов) с brevity penalty. Коррелирует с качеством грубо, плохо ловит синонимы и смысл.
Разбор
- Считают corpus-level обычно.
- Выше не всегда = лучше читаемость.
- Для диалогов/креатива слаб.
- Сообщайте версию и токенизацию.
Итог
BLEU — n-граммное пересечение с референсом, не полное понимание качества.