Храните Prometheus rules, Alertmanager config и Grafana dashboards в Git; деплойте через CI (Jsonnet/Terraform/Grizzly); review изменений алертов как код — иначе drift и «ручные клики» в проде.
Разбор
- PR на новый page-alert обязателен.
- Staging с тем же правилом до prod.
- Имя алерта стабильно для silences.
- Документируйте severity в аннотациях.
Итог
Observability as code убирает скрытый drift дашбордов и rules.