Мониторинг Kubernetes: как настроить Prometheus и Grafana
ноя, 9 2026
Вы когда-нибудь просыпались в три часа ночи из-за того, что один под в вашем кластере Kubernetes начал жрать память, а вы понятия не имели, почему? Знакомо. Без правильного мониторинга управление контейнеризированными приложениями превращается в гадание на кофейной гуще. Вы видите только то, что приложение упало, но не понимаете причину. Именно здесь связка Prometheus и Grafana становится вашим лучшим другом. Это не просто модные слова из резюме DevOps-инженера, это реальный инструмент, который спасает нервы и время.
Давайте разберемся, почему именно эта пара стала стандартом де-факто для наблюдения за Kubernetes. Prometheus - это система сбора метрик и оповещений, которая изначально создавалась SoundCloud для решения проблем с масштабированием микросервисов. В отличие от традиционных систем мониторинга, которые полагаются на push-модель (когда сервер сам отправляет данные), Prometheus использует pull-модель. Он сам ходит по вашим подам и спрашивает: «Эй, как твои дела? Сколько запросов обработал? Какая нагрузка на CPU?». Такой подход делает систему более надежной и предсказуемой. Grafana же отвечает за визуализацию этих данных. Она берет сырые цифры из базы данных временных рядов Prometheus и превращает их в понятные графики, дашборды и алерты.
Почему стандартного логирования недостаточно
Многие новички спрашивают: «А зачем мне Prometheus, если у меня уже есть ELK-стек (Elasticsearch, Logstash, Kibana)?» Вопрос справедливый, но ответ прост: логи и метрики решают разные задачи. Логи хороши для расследования конкретных инцидентов постфактум. Если приложение упало с ошибкой NullPointerException, вы полезете в логи. Но логи плохо показывают тренды. Они не скажут вам, что потребление памяти растет на 5% каждый час последние сутки, пока не произойдет OOMKill (Out Of Memory Kill). Метрики же идеальны для отслеживания состояния системы в реальном времени и прогнозирования проблем до того, как они станут критическими.
Prometheus хранит данные в формате временных рядов. Каждая метрика имеет имя, набор ярлыков (labels) и значение. Например, метрика container_cpu_usage_seconds_total может иметь ярлык pod_name="my-app-123". Это позволяет гибко фильтровать и агрегировать данные. Вы можете быстро ответить на вопросы вроде: «Какой неймспейс потребляет больше всего ресурсов?» или «Сколько ошибок 5xx генерирует конкретный сервис за последнюю минуту?». Такая структура данных идеально ложится на архитектуру Kubernetes, где ресурсы динамически перемещаются между узлами.
Архитектура стека мониторинга
Чтобы понять, как все работает, представьте себе конвейер данных. На нижнем уровне находятся ваши приложения и компоненты Kubernetes (kubelet, kube-proxy, API-server). Они экспортируют метрики через HTTP-эндпоинты (обычно путь /metrics). Далее в игру вступает Prometheus Operator. Это специальный контроллер, который управляет жизненным циклом экземпляров Prometheus в кластере Kubernetes. Вместо того чтобы вручную редактировать YAML-файлы при каждом изменении конфигурации, вы описываете желаемое состояние в ресурсах Kubernetes, и оператор приводит систему к этому состоянию.
Сам сервер Prometheus собирает метрики с заданной частотой (scrape interval, обычно 15-60 секунд). Данные сохраняются локально на диске. Для долгосрочного хранения и высокой доступности часто используют Thanos или Cortex, но для начала хватит и встроенного хранилища. Затем Grafana подключается к Prometheus как к источнику данных. Пользователь открывает веб-интерфейс Grafana, выбирает нужный дашборд, и Grafana отправляет запросы на язык запросов PromQL к Prometheus. Ответ приходит в виде JSON, который Grafana рисует в виде графиков.
| Компонент | Основная функция | Тип данных | Особенность |
|---|---|---|---|
| Prometheus | Сбор и хранение метрик | Временные ряды | Pull-модель, мощный язык запросов PromQL |
| Grafana | Визуализация и алертинг | Графики, таблицы, хитмапы | Поддержка множества источников данных, плагины |
| Alertmanager | Обработка оповещений | Уведомления | Дедупликация, группировка, маршрутизация алертов |
| Node Exporter | Метрики узлов | CPU, RAM, Disk, Network | Запускается как DaemonSet на каждом ноде |
Пошаговая установка: проще, чем кажется
Ручная установка всех компонентов может занять часы. К счастью, сообщество создало проект kube-prometheus-stack от Prometheus Community. Это Helm-чарт, который разворачивает сразу весь необходимый стек: Prometheus, Alertmanager, Grafana, Node Exporter, kube-state-metrics и другие полезные компоненты. Это лучший способ начать работу, если вы не хотите тонуть в YAML-конфигах.
Первое, что нужно сделать - добавить репозиторий Helm:
- Добавить репозиторий:
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts - Обновить список чартов:
helm repo update - Установить стек:
helm install my-kube-prometheus-stack prometheus-community/kube-prometheus-stack --namespace monitoring --create-namespace
После установки подождите несколько минут, пока поды запустятся. Проверить статус можно командой kubectl get pods -n monitoring. Когда все поды будут в состоянии Running, пробросьте порт Grafana на локальную машину: kubectl port-forward svc/my-kube-prometheus-stack-grafana 8080:80 -n monitoring. Теперь откройте браузер и перейдите по адресу localhost:8080. Логин по умолчанию обычно admin, пароль можно найти в секретах Kubernetes или в документации вашего конкретного чарта.
Настройка дашбордов и PromQL
Когда вы впервые зайдете в Grafana, вас встретит пустота. Не пугайтесь. Вам не нужно строить дашборды с нуля. Сообщество Kubernetes создало сотни готовых шаблонов. Зайдите в раздел Dashboards -> Browse, нажмите Import и введите ID популярного дашборда. Например, ID 315 («Kubernetes cluster monitoring») или 7599 («Kubernetes / Compute Resources / Namespace (Pods)»). Выберите источник данных Prometheus, и графика оживет.
Но готовые дашборды не всегда отвечают на специфические бизнес-вопросы. Здесь в дело вступает PromQL. Этот язык похож на SQL, но заточен под временные ряды. Допустим, вы хотите узнать количество активных подов в неймспейсе production. Запрос будет выглядеть так:
count(kube_pod_info{namespace="production"})
Или более сложный пример: среднее время ответа вашего API за последнюю минуту. Если ваш сервис экспортирует метрику http_request_duration_seconds_bucket, запрос будет таким:
histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket[5m])) by (le))
Не пугайтесь синтаксиса. rate() считает скорость изменения счетчика, sum() ... by (le) агрегирует данные по границам бакетов, а histogram_quantile() вычисляет перцентиль. Практика показывает, что после недели работы с этим языком вы будете писать такие запросы во сне.
Настройка алертинга: спите спокойно
Мониторинг бесполезен, если вы сидите перед монитором и ждете, пока красная лампочка загорится. Алертинг должен работать автоматически. Prometheus оценивает правила алертинга каждые несколько секунд. Если условие выполняется дольше указанного времени (for), он отправляет сигнал в Alertmanager.
Типичные ошибки новичков:
- Слишком чувствительные пороги. Алерт «CPU > 80%» будет срабатывать постоянно. Лучше использовать «CPU > 80% в течение 10 минут».
- Отсутствие тишины (silence). Во время плановых обновлений кластера алерты должны замолкать. Alertmanager позволяет создавать временные окна тишины.
- Нет эскалации. Критические алерты должны идти в PagerDuty или Telegram, информационные - в Slack или email.
Пример правила алертинга в YAML:
groups:
- name: example.rules
rules:
- alert: HighPodMemoryUsage
expr: container_memory_working_set_bytes{container!="POD", container!=""} > 500 * 1024 * 1024
for: 5m
labels:
severity: warning
annotations:
summary: "High memory usage in {{ $labels.pod }}"
description: "Pod {{ $labels.pod }} is using more than 500MB of memory for 5 minutes."
Частые проблемы и их решение
При эксплуатации этого стека вы столкнетесь с несколькими классическими проблемами. Первая - высокая нагрузка на диск. Prometheus пишет много данных. Если у вас большой кластер, убедитесь, что у ноды, где крутится Prometheus, быстрый SSD и достаточно места. Вторая проблема - потеря метрик при рестарте пода Prometheus. По умолчанию данные хранятся локально. Если под умрет, история метрик исчезнет. Решения: использование StatefulSet с PersistentVolumeClaim или интеграция с удаленным хранилищем (Remote Write).
Третья проблема - слишком много кардинальности (cardinality). Если у вас миллионы уникальных комбинаций ярлыков (например, уникальный label для каждого пользователя), база данных Prometheus взорвется. Всегда проверяйте, какие лейблы вы добавляете к своим метрикам. Избегайте использования UUID или timestamp в качестве лейблов.
Нужен ли отдельный кластер для Prometheus?
Для небольших и средних проектов (до 50-100 нод) вполне достаточно развернуть Prometheus в том же кластере Kubernetes, который он мониторит. Однако для очень крупных enterprise-решений рекомендуется выносить мониторинг в отдельный кластер или использовать managed-сервисы (например, AWS Managed Service for Prometheus), чтобы избежать ситуации, когда падение основного кластера приводит к невозможности его продиагностировать.
Как долго Prometheus хранит метрики?
По умолчанию срок хранения зависит от объема диска и настроек retention. Обычно настраивают на 15-30 дней для горячих данных. Для долгосрочного хранения (месяцы или годы) используют инструменты компракции, такие как Thanos Compactor, которые переносят старые блоки данных в объектные хранилища (S3, GCS), значительно снижая стоимость хранения.
Можно ли заменить Grafana другими инструментами?
Технически да. Prometheus предоставляет простой встроенный UI для выполнения запросов, но он крайне минималистичен. Другие варианты включают Kiali (для визуализации топологии сервисной сети Istio) или коммерческие решения вроде Datadog и New Relic. Однако Grafana остается бесплатным, мощным и наиболее гибким инструментом с огромным комьюнити, поэтому она является стандартом для большинства компаний.
Что такое kube-state-metrics?
Это компонент, который слушает API Kubernetes и транслирует состояние объектов кластера (поды, деплойменты, сервисы, узлы) в метрики Prometheus. Сам Kubernetes API не отдает метрики в формате Prometheus, поэтому без kube-state-metrics вы бы не увидели, сколько реплик у Deployment или какой статус у Pod. Это обязательный элемент для полного мониторинга оркестратора.
Как интегрировать свои приложения с Prometheus?
Вам нужно добавить библиотеку клиента Prometheus для языка вашего приложения (Go, Java, Python и т.д.). Эта библиотека создает эндпоинт /metrics, который возвращает текстовые данные в формате OpenMetrics/Prometheus. Затем вы либо аннотируете свой Pod/Metadata в Kubernetes, либо используете ServiceMonitor (если используете Prometheus Operator), чтобы указать Prometheus, откуда собирать эти метрики.