Локальный master, маленькие фикстуры DataFrame, сравнить schema/данные, golden files parquet; интеграционно — staging на sample партициях. Избегайте полного prod объёма в unit.
Разбор
- Чистота функций трансформации (input DF→output DF).
- Spark Session в pytest fixture.
- Проверка nullable/типов.
- Property-тесты на инварианты агрегатов.
Итог
Тесты = локальные DF-фикстуры + контракт схемы; объём — на staging.