Обычные Prometheus-экспортеры (node_exporter, postgres_exporter) отдают метрики изнутри процесса или хоста — то, что видно самому сервису о себе. blackbox_exporter смотрит снаружи: стучится в эндпоинт по HTTP/TCP/ICMP/DNS/gRPC и фиксирует, ответил ли он вообще и за сколько. ...
У свитча или ИБП обычно нет /metrics, зато почти всегда есть SNMP-агент. snmp_exporter превращает SNMP-опрос в тот же текстовый формат, что отдают остальные Prometheus-экспортеры, и дальше устройство встраивается в общий мониторинг как любой другой таргет. ...
Prometheus хранит метрики на локальном диске одного сервера — надёжно, но не бесконечно и не горизонтально. Mimir — принимающая сторона remote_write: масштабируется по узлам, хранит историю дольше, чем позволяет один диск. ...
Все предыдущие посты серии — про то, что кормит Prometheus метриками (node_exporter, postgres_exporter, rabbitmq_prometheus) — сам Prometheus в стеке до сих пор не появлялся. Пора закрыть пробел: это сердце модели “L” (метрики) в LGTM, и модель работы у него принципиально другая, чем у Loki/Tempo. ...
Метрики говорят, что что-то не так (латентность выросла), логи — что конкретно упало, а трейс показывает, где по цепочке вызовов между сервисами реально ушло время. Tempo — бэкенд для хранения и поиска трейсов, принимает трейсы по OTLP (OpenTelemetry Protocol). ...
Elasticsearch индексирует полный текст каждой строки лога — мощно, но дорого по диску и CPU при больших объёмах. Loki поступает наоборот: индексирует только лейблы (как Prometheus индексирует метрики), а сам текст лежит сжатыми блоками без полнотекстового индекса. ...
До Alloy в стеке приходилось держать отдельно Grafana Agent для метрик, Promtail для логов и, если нужны трейсы, ещё OpenTelemetry Collector. Grafana Alloy — один процесс, который собирает и метрики, и логи, и трейсы, и профили одновременно. ...
Два сервиса из типового стека — и два разных подхода к тому, откуда Prometheus берёт по ним метрики: у одного нужен отдельный процесс-переводчик, у второго экспорт уже встроен. ...
postgres_exporter — отдельный процесс рядом с node_exporter: тот снимает метрики хоста, этот подключается к PostgreSQL как обычный клиент и превращает системные представления (pg_stat_*) в формат Prometheus. ...
Начинаем серию про LGTM-стек (Loki, Grafana, Tempo, Mimir + Prometheus/Alloy) — с самого низа, откуда берутся метрики хоста. node_exporter — демон, который читает /proc и /sys и отдаёт их в формате Prometheus на :9100/metrics. Сам по себе не хранит историю и ничего не агрегирует — просто снимок текущего состояния по HTTP. ...