[Partage] Une comparaison entre Logstash et Ingest Node

206 0 0 0

Cet article concerne une comparaison entre Logstash et Ingest Node. Veuillez lire ci-dessous pour plus de détails.

1. Entrée et sortie de données

Noeud Ingest: dans le cadre du processus de document d'index Elasticsearch, seul Elasticsearch prend en charge l'entrée. Par exemple, l'interface RESTful. Après le traitement, les données traitées ne peuvent être indexées dans Elasicsearch qu'au lieu d'être transmises à d'autres emplacements.

Logstash: plusieurs sources de données, notamment Beats, Mysql, Kafkas, peuvent être utilisées comme serveur pour recevoir les données envoyées par le client via TCP ou UDP, HTTP ou pour obtenir de manière proactive des données à partir de la base de données et de la file d'attente de messages. La fonction de sortie de données est également puissante et peut être transmise aux files de messages, au stockage d'objets et à HDFS.

2. Mise en mémoire tampon des données

Noeud d'intégration: Elasticsearch ne fournit pas de stratégie de tampon de données. La fin de l’entrée de données doit résoudre le cas où le SE rejette la demande d’écriture. Ingest Node, dans le cadre du document d'index ES, n'a pas de stratégie de mémoire tampon de données.

Logstash: fournit un mécanisme de file d'attente pour empêcher la perte de données et les pointes de charge. De plus, plusieurs files d'attente sont prises en charge. Vous pouvez sélectionner une file d'attente appropriée en fonction des exigences de service.

3. Traitement de données

Nœud d'intégration: plus de 20 types de processeurs sont pris en charge. Ces processeurs couvrent des scénarios courants du Logstash. La restriction est effectuée uniquement dans le contexte d'une donnée unique. De plus, les systèmes externes tels que les fichiers et les bases de données ne peuvent pas être appelés.

Logstash: prend en charge un grand nombre de processeurs. Les utilisateurs peuvent écrire des plug-ins ou invoquer des ressources externes telles que des fichiers de disque, des bases de données et ES. En outre, Logstash peut filtrer et supprimer des données en fonction de conditions.

4. Configuration et utilisation

Noeud Ingest: le pipeline est créé via l'interface ES et stocké dans Elasticsearch. Les pages de surveillance et de gestion visualisée ne sont pas affichées.

Logstash: le pipeline est défini via des fichiers de configuration. Les flux de contrôle conditionnels et les pipelines multiples sont pris en charge. Les fonctions de surveillance et de gestion de pipeline visualisées sont fournies, ce qui permet d’optimiser les performances et de localiser les problèmes. La figure suivante présente la page de gestion du pipeline Logstash sur Kibana.

a2544808a94f2bcb19d2a034c4b9762f


(1) En termes d’entrée, bien que Logstash prenne en charge davantage de modes d’entrée, Ingest Node peut fonctionner avec Beats et même Logstash pour résoudre les problèmes d’entrée de différentes sources de données.

(2) Sortie: dans le cadre du processus de document d'index Elasticsearch, Ingest Node ne peut pas être exporté vers d'autres emplacements à moins que le code source ne soit reconstruit. Par conséquent, si vous avez besoin d’exporter les données traitées vers d’autres emplacements, il est conseillé d’utiliser Logstash.

(3) En termes de mise en mémoire tampon des données, Ingest Node peut accéder aux files de messages telles que Kafka pour résoudre le problème. En pratique, même si Logstash dispose d’un mécanisme de file d’attente, Kafka est ajouté avant Logstash afin d’améliorer la pression de transmission des données.

(4) En ce qui concerne le traitement des données, IgnestNode prend en charge les scénarios les plus courants de Logstash. Avant d’utiliser Logstash, vous pouvez utiliser IgnestNode pour déterminer si Ignest Node peut satisfaire aux exigences. Si IgnestNode ne répond pas aux exigences, vous devez utiliser Logstash.

(5) En termes de configuration et d'utilisation, Logstash présente des avantages évidents, des modes de configuration flexibles, une surveillance visualisée et une gestion des pipelines, qui sont d'une grande aide pour les systèmes complexes.

(6) Performances et architecture: Ignest simplifie la collecte de données et l’architecture de traitement lorsque la logique de traitement des données est relativement simple. Toutefois, lorsque le traitement des données est complexe, le traitement des données Ingest Node peut affecter les performances du nœud. Dans ce cas, un nœud ingéré dédié est utilisé pour résoudre le problème. L'introduction d'un nœud Ingest dédié complique la structure du cluster Elasticsearch, ce qui va à l'encontre des avantages d'Ingest Node dans la simplification de la collecte de données et de l'architecture de traitement. Logstash est un module dédié à la collecte et au traitement de données avant Elasticsearch. Lorsque le goulot d'étranglement des performances se produit, Logstash peut être étendu horizontalement pour améliorer la capacité de traitement et l'architecture est plus claire.

(7) Le noeud d'intégration est connecté à Logstash. Ingest Node fait partie du cluster Elasticsearch. Logstash est situé à l’avant de Elasticsearch. Ingest Node peut être utilisé avec Logstash. PS: IngestNode l’une des utilisations possibles est d’ajouter des horodatages aux données pour enregistrer plus précisément le temps d’indexation des documents, ce qui est utile pour les calculs fastidieux. La figure suivante illustre l'architecture Elastic Stack utilisée par IngestNode et Logstash.

5996633709e3d76f6069ed25cad7281a


  • x
  • Standard:

Responder

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier