Идентифицируемость значит, что разные θ порождают разные распределения данных; иначе данные принципиально не отделяют параметры (label switching, scaling в факторизациях).
Разбор
- В нейронках — перестановки нейронов.
- В topic models — похожие проблемы.
- Регуляризация/constraints восстанавливают практическую идентифицируемость.
- Неидентифицируемость ≠ плохой fit.
Итог
Если параметр не идентифицируем, «оценка» — условность параметризации.