Как работает алгоритм подавления повторных срабатываний алерта в Alertmanager?

Алгоритм подавления повторных срабатываний алерта в Alertmanager работает на основе группировки и подавления отдельных алертов. losst.pro betterstack.com

Группировка позволяет объединять связанные алерты в одно уведомление, чтобы не получать множество отдельных сообщений. betterstack.com Для группировки настраивают список совпадающих меток. betterstack.com Алерты с одинаковыми значениями этих меток объединяются в одно уведомление. betterstack.com

Подавление алертов (inhibition) позволяет подавлять отдельные алерты, когда уже срабатывают связанные алерты с более высоким приоритетом. betterstack.com Например, если сервер Prometheus настроен на предупреждение при использовании 70% памяти и алерт при 90%, то при быстром увеличении использования памяти до 95% придёт два алерта. betterstack.com Предупреждение о 70% будет подавлено, так как уже срабатывает алерт о критическом использовании памяти в 90%. betterstack.com

Для настройки подавления алертов используют свойство inhibitrules. betterstack.com В нём параметр sourcematchers указывает алерты, которые будут подавлять другие, а target_matchers — алерты, которые будут подавлены. betterstack.com

Чтобы правила подавления работали надёжно, их нужно размещать в конфигурации алерта перед алертами, которые они подавляют. betterstack.com