Что такое out-of-sample оценка?

Out-of-sample — метрика на данных, не участвовавших в подгонке этой модели (и ideally в выборе гиперпараметров). In-sample оценка оптимистична.

Разбор

• Test и честный CV — источники OOS.
• Подглядывание в OOS превращает его в in-sample выбора.
• Онлайн A/B — высший OOS для продукта.
• Репортируйте, какой именно OOS.

Итог

Доверяйте качеству только вне выборки обучения.