Мониторинг домашнего сервера за вечер
Однажды я узнал, что на сервере кончилось место, по тому, что перестали открываться фотографии. Повторять не хотелось, поэтому в один из вечеров я собрал минимальный мониторинг. Без Kubernetes и без десятка дашбордов — только то, на что я реально буду смотреть.
Состав
- node_exporter на каждой машине — процессор, память, диски, температуры;
- Prometheus собирает метрики и хранит их 90 дней;
- Grafana — один дашборд и уведомления в мессенджер.
Три алерта, которых хватает
Диск заполнен больше чем на 85%:
100 * (1 - node_filesystem_avail_bytes{fstype!="tmpfs"}
/ node_filesystem_size_bytes{fstype!="tmpfs"}) > 85
Температура дисков выше 50 °C — её отдаёт smartctl_exporter.
И «машина пропала»: up == 0 дольше пяти минут.
Всё остальное — загрузку процессора, сеть, память — я смотрю на дашборде, когда что-то кажется подозрительным. Алертить на это дома бессмысленно: ночное перекодирование видео всё равно грузит процессор на 100%, и это нормально.
Что заметил за первый месяц
Один из дисков в NAS стабильно грелся на восемь градусов сильнее соседа. Оказалось, кабель питания перекрывал поток воздуха от переднего вентилятора. Без графиков я бы этого не увидел.