duplicated(subset=..., keep=) — маска; drop_duplicates удаляет; определите бизнес-ключ subset и политику keep first/last/False.
Разбор
- Сортировка перед keep="last" для «самой свежей» версии.
- Дубликаты после merge — сигнал проверить validate.
- Логируйте число удалённых строк.
- Иногда дубликаты — валидные события, не удаляйте вслепую.
Итог
Явный subset + keep + аудит count — дисциплина дедупа.