Broadcast — read-only копия данных, эффективно разосланная на executors (для join маленького справочника или lookup), без тащить её на каждую task через замыкания многократно.
Разбор
- Связано с broadcast hash join.
- Не broadcast'ьте гигантские таблицы — OOM executor.
spark.sql.autoBroadcastJoinThreshold управляет авто.- Hint:
broadcast(df).
Итог
Broadcast рассылает малый dataset на executors для join/lookup.