Как проектировать param groups с разными lr/weight decay?

В optimizer передают список словарей {params, lr, weight_decay}: например без decay на bias/Norm, меньший lr на pretrained backbone.

Разбор

• Фильтруют по имени (bias, norm, bn).
• AdamW + no decay на Norm — частый рецепт трансформеров.
• После смены groups state может быть несовместим.
• Логируйте фактические group lrs.

Итог

Param groups кодируют дифференцированную оптимизацию частей модели.