Трансформация RDD/DF (через mapPartitions/pandas groups) обрабатывает целую partition за вызов — аммортизирует init тяжёлых клиентов (DB connection) vs map построчно.
Разбор
- Не забудьте закрывать ресурсы.
- В DataFrame чаще достаточно native функций.
- Ошибки в середине partition дороже отлаживать.
- Размер partition влияет на память функции.
Итог
mapPartitions — для partition-level side resources; иначе native DataFrame.