Сериализация объектов для shuffle/cache: Kryo быстрее и компактнее Java serializer, но требует регистрации классов. Для DataFrame меньше боли (InternalRow), для RDD — критично.
Разбор
spark.serializer=org.apache.spark.serializer.KryoSerializer.- Большие Python объекты всё равно через pickle — другой мир.
- Избегайте широких JVM object RDD.
- DataFrame API снижает необходимость ручной сериализации.
Итог
Kryo ускоряет JVM-сериализацию; DataFrame предпочтительнее RDD с объектами.