Monitoring

Ubuntu 18.04 LTS – Outils de monitoring avec Telegraf, InfluxDB et Grafana

Le monitoring ou surpervision est une activité de surveillance et de mesure d’une activité informatique. Ces mesures permettent de construire des graphes afin de visualiser les performances et de voir les tendances, de détecter voire d’anticiper des anomalies ou des pannes et d’alerter en cas de dysfonctionnement.

Le monitoring peut vous permettre de déclencher des alertes sur certains seuils de métriques afin de réagir avant qu’un problème devienne critique.

Les indicateurs peuvent être :

  • un pic de charge important indiquant un problème de performance ou un pic de visiteurs
  • un pic de trafic anormal causé par une attaque
  • à l’inverse une perte soudaine de traffic pouvant indiquer une panne ou une indisponibilité.

Dans ce tutoriel, nous allons mettre en place la stack TIG (Telegraf – InfluxDB – Grafana) où Telegraf sera utilisé comme collecteur, InfluxDB comme solution de stockage et Grafana comme outil de mise en forme et de visualisation des données.

Telegraf est un collecteur de données créé par les créateurs d’InfluxDB : InfluxData. Il permet de collecter des données systèmes (CPU, mémoire, I/O, disque, etc.) ou les données liées à vos containers Docker et dispose de très nombreux plugins d’entrées (pour collecter) et de sortie (pour stocker).

Comme plugin de sortie, nous utiliserons InfluxDB, une base de données écrite en Go spécialisée dans le stockage de métriques et d’événements. Egalement développé par InfluxData, l’intégration d’InfluxDB avec Telegraf est très aisée.

Grafana est une des références pour la visualisation et la mise en forme de données métriques. Il permet de réaliser des tableaux de bord et des graphiques à partir d’une multitude de sources de données (InfluxDB, Graphite, Prometheus, Elasticsearch, etc.) et permet également de vous alerter en fonction de seuils définis via différents canaux (Slack, email, PagerDuty, etc.).

Grafana sera accessible depuis l’extérieur via Nginx utilisé comme reverse proxy et sera sécurisé grâce à un certificat SSL/TLS délivré par Let’s Encrypt.

1 – Prérequis

  • Vous devez disposer d’Ubuntu 18.04 LTS.
  • Votre utilisateur doit avoir accès à sudo.
  • Les paquets curl et software-properties-common doivent être installés sur votre système. Dans le doute, tapez la commande suivante :

Si vous ne possédez pas de serveur dédié ou de nom de domaine, je vous conseille les VPS de 1&1. Les serveurs sont rapides (basés en France), fiables et surtout très abordables. Les formules Cloud S ou Cloud M sont amplement suffisantes.

2 – Installation de Docker & Docker Compose

  • Ajoutez la clé GPG du dépôt officiel de Docker à votre système :
  • Ajoutez Docker à vos dépôts APT :
  • Mettez à jour la liste des fichiers disponibles dans vos dépôts APT :
  • Installez Docker CE :
  • Vérifiez que Docker est correctement installé avec la commande sudo systemctl status docker :
  • Téléchargez Docker Compose avec la commande suivante en modifiant la version si besoin avec la dernière release du repository officiel de Docker :
  • Ajoutez les droits d’exécution sur le binaire de Docker Compose :
  • Vérifiez l’installation de Docker Compose avec la commande docker-compose -v :

3 – Droits Unix

Il est recommandé, pour des raisons de sécurité, de créer un utilisateur dédié à la gestion des volumes Docker et de ne pas le lancer sous votre super-utilisateur.

  • Créez un utilisateur guard :
  • Ajoutez-le au groupe docker :

4 – Création des volumes Telegraf, InfluxDB et Grafana

  • Connectez-vous sous l’utilisateur guard et déplacez-vous dans le répertoire personnel de cet utilisateur :
  • Créez le fichier /home/guard/docker-compose.yml et modifiez les lignes en surbrillance en fonction de la configuration souhaitée :
    Les données suivantes seront créées automatiquement au démarrage des containers :

    • INFLUX_DB : nom de la base de données créée dans InfluxDB.
    • INFLUXDB_USER : utilisateur créé avec les droits de lecture/écriture sur la base de données INFLUX_DB.
    • INFLUXDB_USER_PASSWORD : mot de passe de l’utilisateur INFLUXDB_USER.
    • GF_SECURITY_ADMIN_USER : administrateur de l’interface Grafana.
    • GF_SECURITY_ADMIN_PASSWORD : mot de passe de l’administrateur de Grafana.
  • Créez le répertoire de configuration de Telegraf et générez un fichier de configuration à jour avec la commande suivante :
  • Modifiez ou décommentez les lignes suivantes dans le fichier de configuration /home/guard/telegraf/telegraf.conf :
    • hostname = "telegraf" : donnée purement indicative permettant d’identifier dans Grafana la provenance des métriques relevées par Telegraf.
    • urls = ["http://influxdb:8086"] : le host doit correspondre à la valeur de la directive hostname déclarée dans votre docker-compose.yml pour le container influxdb. Le port d’écoute par défaut d’InfluxDB est le 8086.
    • database = "telegraf" : le nom de la base données doit correspondre à la valeur de la directive INFLUX_DB déclarée dans votre docker-compose.yml pour le container influxdb.
    • username = "telegraf_user" : cette ligne doit être décommentée et la valeur doit correspondre à celle de la directive INFLUXDB_USER déclarée dans votre docker-compose.yml pour le container influxdb.
    • password = "telegraf_password" : cette ligne doit être décommentée et la valeur doit correspondre à celle de la directive INFLUXDB_USER_PASSWORD déclarée dans votre docker-compose.yml pour le container influxdb.
    • [[inputs.docker]] : cette ligne doit être décommentée pour activer et lire les métriques liés à vos containers Docker.
    • endpoint = "unix:///var/run/docker.sock" : cette ligne doit être décommentée pour préciser le socket d’écoute de votre processus Docker.
  • Démarrez les containers :
  • Listez vos containers avec la commande $ docker ps -a :
    Si vous êtes en local, vous pouvez désormais accéder à Grafana via http://localhost:3000.

5 – Reverse proxy avec Nginx

Si vous souhaitez accéder à Grafana de l’extérieur via une URL de type http://grafana.mondomaine.com/ alors un reverse proxy est nécessaire. Le reverse proxy remplit le rôle de passerelle entre l’extérieur (Internet) et le réseau local de votre serveur.

N’oubliez pas de modifier les règles DNS dans l’interface administrateur du fournisseur de votre nom de domaine pour pointer vers l’IP de votre serveur.

Notre choix se portera sur le serveur HTTP Nginx pour une question de performances. Nginx est reconnu pour ses hautes performances, sa stabilité, son ensemble de fonctionnalités, sa configuration simple ainsi que sa faible consommation en ressources.

  • Repassez sous votre super-utilisateur :
  • Installez le paquet nginx :
  • Modifiez les directives suivantes du fichier de configuration Nginx /etc/nginx/nginx.conf :

    • worker_processes 8; : l’un des paramètres à ajuster immédiatement est le worker_processes. Pour profiter pleinement de la puissance de votre serveur, il est recommandé de mettre autant de worker_processes que de cœurs disponibles sur votre serveur. Pour connaître le nombre de cœurs sur votre serveur, il suffit de lancer la commande :
    • server_tokens off; : pour des raisons de sécurité, il est recommandé de désactiver l’envoi d’informations telles que le numéro de version de votre Nginx. Pour cela, décommentez cette directive dans le bloc http.
  • Créez le virtual host /etc/nginx/sites-available/grafana et modifiez la ligne en surbrillance en fonction de votre configuration :
  • Activez le virtual host :
  • Rechargez la configuration Nginx :
    Grafana est désormais accessible via http://grafana.mondomaine.com.

(Facultatif) URL de type http://www.mondomaine.com/grafana

Si l’URL d’accès à votre Grafana n’est pas la racine de votre domaine (http://www.mondomaine.com/grafana par exemple), il est nécessaire de le préciser dans votre fichier docker-compose.yml.

  • Connectez-vous sous l’utilisateur guard et déplacez-vous dans le répertoire personnel de cet utilisateur :
  • Ajoutez la ligne suivante dans votre fichier /home/guard/docker-compose.yml et modifiez l’URL en fonction de votre configuration :
  • Redémarrez les containers :
  • Fermez la session de l’utilisateur guard et revenez sous votre super-utilisateur :
  • Modifiez la ligne en surbrillance dans votre virtual host (/etc/nginx/sites-available/grafana) :
  • Rechargez la configuration Nginx :
    Grafana est désormais accessible via http://www.mondomaine.com/grafana.

6 – Sécuriser Grafana avec SSL/TLS

Let’s Encrypt est une autorité de certification libre, automatisée et ouverte. Cette autorité fournit des certificats gratuits X.509 pour le protocole cryptographique SSL/TLS au moyen d’un processus automatisé destiné à se passer du processus complexe actuel impliquant la création manuelle, la validation, la signature, l’installation et le renouvellement des certificats pour la sécurisation des sites internet. En mai 2018, Let’s Encrypt avait délivré plus de 70 millions de certificats.

6.1 – Installation

Installez les paquets software-properties-common et certbot :

6.2 – Génération des certificats

Let’s Encrypt permet de générer de différentes façons plus ou moins automatisées un certificat. La méthode standalone permet de générer simplement un certificat. En revanche, celle-ci demande d’arrêter le serveur Nginx et ceci est valable à chaque renouvellement dudit certificat. Il existe aussi des plugins apache et nginx entièrement automatisés. Ces plugins mettent à jour automatiquement la configuration des virtual hosts mais le plugin nginx est encore expérimental. Dans cet article, nous recommandons d’utiliser le plugin webroot qui permet de générer et renouveler son certificat sans interrompre le serveur Nginx.

Le plugin webroot crée un fichier temporaire .well-known/acme-challenge dans un dossier spécifique accessible à Nginx, celui-ci permettra aux serveurs de Let’s Encrypt d’appeler ce fichier temporaire et ainsi de valider votre certificat.

  • Créez le répertoire destiné au fichier temporaire de Let’s Encrypt :
  • Créez le fichier /etc/nginx/snippets/letsencrypt avec les lignes suivantes pour rediriger Let’s Encrypt vers le dossier local précédemment créé :

  • Importez le fichier précédemment créé dans votre virtual host :
  • Recharchez votre configuration Nginx :
  • Générez votre certificat en remplaçant email@mondomaine.com et grafana.mondomaine.com par vos informations personnelles :

    Vous obtiendrez 4 fichiers dans le répertoire /etc/letsencrypt/live/grafana.mondomaine.com :

    • cert.pem : le certificat de votre domaine grafana.mondomaine.com
    • chain.pem : le certificat Let’s Encrypt
    • fullchain.pem : les certificats cert.pem et chain.pem combinés
    • privkey.pem : la clé privée du certificat.
  • SSL/TLS utilise un système de chiffrement asymétrique (comme RSA ou Diffie-Hellman) afin de sécuriser les échanges de vos flux. Par défaut, Nginx utilise une clé de 1048 bits. En augmentant la longueur de la clé à 4096 bits, vous augmenterez ainsi la sécurité de votre protocole SSL/TLS. Générez une nouvelle clé Diffie-Hellman (DH) de 4096 bits et attribuez-lui un minimum de permissions :

6.3 – Renouvellement automatique du certificat

Les certificats délivrés par Let’s Encrypt sont valides 90 jours. L’outil certbot fournit une option renew permettant de renouveler l’ensemble des certificats présents sur votre serveur si et seulement si ceux-ci expirent dans moins de 30 jours.

Nous allons créer une règle crontab où le script de renouvellement sera planifié pour exécution tous les lundis à 23h42. Les traces liées à l’exécution du script seront enregistrées dans un fichier /var/log/le-renew.log.

  • Éditez la crontab :
  • Ajoutez la ligne suivante :
  • Sauvegardez et quittez.

6.4 – Vhost

  • Modifiez votre virtual host et les lignes en surbrillance en fonction de votre configuration :
  • Rechargez votre configuration Nginx :

7 – HTTP2

Je vous conseille vivement d’activer le nouveau protocole HTTP2 qui augmentera la sécurité et la rapidité de votre Grafana.

HTTP2 permet notamment :

  • la compression des headers des requêtes et des réponses réduisant la bande passante lorsque les headers (comme les cookies) sont similaires.
  • le multiplexage des requêtes au serveur consistant à faire passer de multiples informations via un seul tuyau de transmission. Ainsi, on économise les multiples connexions entre le client et le serveur. Les requêtes, quant à elles, sont effectuées simultanément par le navigateur. Les requêtes ne se suivent donc plus les unes derrière les autres (HTTP1) et les plus prioritaires (CSS par exemple) ne sont plus bloquées par les moins prioritaires (images par exemple).
  • le push des ressources du serveur au navigateur. Désormais, le serveur pourra envoyer l’ensemble des ressources référencées dans une même page (CSS, JS…), avant même que le navigateur n’ait analysé celle-ci.

L’activation du protocole HTTP2 est très simple et consiste en l’ajout de la directive http2 dans votre virtual host (/etc/nginx/sites-available/grafana) :

Une fois la modification effectuée, n’oubliez pas de recharger votre configuration Nginx :

8 – Configuration

8.1 – Grafana : ajouter la base de données InfluxDB…

Deux possibilités s’offrent à vous pour importer une source de données.

… par l'interface Grafana

Lors de la première connexion en tant qu’administrateur, cliquez sur Add data source :


1
2
3
4
5
6
7
1

Renseignez le nom de la source de données (purement indicatif)

2

Choisissez le type de données InfluxDB

3

Saisissez l’URL de votre InfluxDB

4

Laissez par défaut le type d’accès Server

5

Renseignez le nom de la base de données

6

Renseignez le nom d’utilisateur et le mot de passe de la base de données

7

Cliquez sur Add


… par l'API Grafana

Tapez la commande suivante en remplaçant les lignes en surbrillance par vos informations personnelles :

En cas de succès, vous obtiendrez de Grafana la réponse suivante :

8.2 – Grafana : importer des tableaux de bord

La liste des dashboards Grafana est consultable ici. Veillez à choisir un dashboard acceptant les sources de données de type InfluxDB et les collecteurs de type Telegraf.

Je vous conseille le dashboard 1443 pour afficher les données de votre système et le 1150 pour les données de vos containers Docker.

  1. Copiez l’identifiant du dashboard souhaité dans Home → Import Dashboard :

    1
    1

    Copiez l’identifiant du dashboard


  2. Sélectionnez la source de données et importez le dashboard :

    1
    2
    1

    Sélectionnez la source de données Telegraf

    2

    Cliquez sur Import


Libre à vous désormais de modifier ou de créer vos propres dashboards et de configurer vos alertes et vos canaux de diffusions.

8.3 – InfluxDB : définir une politique de rétention

Il est possible via InfluxDB de définir une durée de rétention de vos métriques. Toutes les données antérieures à la durée spécifiée seront automatiquement supprimées. Attention, la création d’une politique de rétention supprimera l’ensemble de vos métriques.

  • Pour cela, connectez-vous tout d’abord sous l’utilisateur guard et déplacez-vous dans le répertoire personnel de cet utilisateur :
  • Lancez l’invite de commande du client influx à l’intérieur du container influx-db contenant la base de données :
  • Définissez une nouvelle politique de rétention avec la requête suivante :
    Dans cet exemple, la durée de rétention est définie à 1 semaine. Sachez qu’il est aussi possible de définir un nombre de minutes (m), d’heures (h) ou encore de jours (d).
  • Afin de vérifier que celle-ci a bien été prise en compte, affichez l’ensemble de vos politiques de rétention sur la base de données telegraf avec la requête suivante :
    Vous obtiendrez sur la sortie standard :

  • Quittez l’invite de commande avec la commande suivante :


Ubuntu 18.04 Server LTSDocker 18.06.0-ce
Docker Compose 1.21.2
Nginx 1.14.0
Telegraf 1.7.2
InfluxDB 1.6.0
Grafana 5.2.1

AuteurEdouard WATTECAMPS

5 réponses
  1. Olivier
    Olivier dit :

    Bonjour,
    Est-ce que vous pouvez me confirmer que Telegraf et InfluxDB sont libre et open-source ? Mais c’est pas très clair sur le site web d’InfluxData, c’est écrit en gros « free for 14 days » …

    Répondre
  2. Olivier
    Olivier dit :

    Bonjour,
    Est-ce que vous savez comment il faut faire pour faire le ménage dans les données stockés par telegraf ? Par exemple si je veux supprimer toutes les données de monitoring qui ont plus de 1 semaine ?

    Répondre

Répondre

Se joindre à la discussion ?
Vous êtes libre de contribuer !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.