Flaky — тесты, которые без изменения кода то проходят, то падают; они разрушают доверие к CI и маскируют настоящие регрессии.
Разбор
- Типичные причины: гонки, sleep вместо wait, нестабильные данные, общая среда, анимации, сторонние сервисы.
- Команда начинает игнорировать красные пайплайны — сигнал «сломано» обесценивается.
- Лечение: изоляция данных, явные ожидания, ретраи только как временная мера с тикетом, quarantine suite.
- Метрика: flake rate по тесту/сьюту; порог для блокировки merge.
Итог
Flaky — долг инфраструктуры тестов; без дисциплины CI превращается в шум.