a428_

Мониторинг домашнего сервера за вечер

· 2 мин чтения · #мониторинг · #prometheus

Однажды я узнал, что на сервере кончилось место, по тому, что перестали открываться фотографии. Повторять не хотелось, поэтому в один из вечеров я собрал минимальный мониторинг. Без Kubernetes и без десятка дашбордов — только то, на что я реально буду смотреть.

Состав

  • node_exporter на каждой машине — процессор, память, диски, температуры;
  • Prometheus собирает метрики и хранит их 90 дней;
  • Grafana — один дашборд и уведомления в мессенджер.

Три алерта, которых хватает

Диск заполнен больше чем на 85%:

100 * (1 - node_filesystem_avail_bytes{fstype!="tmpfs"}
         / node_filesystem_size_bytes{fstype!="tmpfs"}) > 85

Температура дисков выше 50 °C — её отдаёт smartctl_exporter. И «машина пропала»: up == 0 дольше пяти минут.

Всё остальное — загрузку процессора, сеть, память — я смотрю на дашборде, когда что-то кажется подозрительным. Алертить на это дома бессмысленно: ночное перекодирование видео всё равно грузит процессор на 100%, и это нормально.

Что заметил за первый месяц

Один из дисков в NAS стабильно грелся на восемь градусов сильнее соседа. Оказалось, кабель питания перекрывал поток воздуха от переднего вентилятора. Без графиков я бы этого не увидел.