Базовые трансформации проекции и фильтрации: select выбирает/выражает колонки, filter режет строки, withColumn добавляет/заменяет колонку. Ленивы до action.
Разбор
- Предпочитайте выражения Column API/
F.col векторизации.
- Цепочки withColumn читаемы, но много промежуточных — иногда select лучше.
- filter рано уменьшает объём до join.
- Избегайте Python UDF без нужды.
Итог
select/filter/withColumn — основа DataFrame ETL до агрегаций и join.