Энтропия — средний объём неопределённости распределения; кросс-энтропия между one-hot (или мягкими метками) и softmax-предсказанием — стандартный loss классификатора.
Разбор
- Минимизация CE ≡ максимизация likelihood мультиномиала.
- Label smoothing меняет целевое распределение.
- Класс-веса корректируют дисбаланс в CE.
- Калибровка связана с качеством вероятностей, не только argmax.
Итог
Кросс-энтропия штрафует неуверенные/неверные вероятностные предсказания классов.