Une introduction sur Flume

8 0 0 0

Cet article met l'accent sur une introduction à Flume.

Flume est un service de diffusion en continu de journaux dans Hadoop.

Il s’agit d’un service distribué, fiable et disponible permettant de collecter, d’agréger et de transférer efficacement de grandes quantités de données en continu dans le système de fichiers distribués Hadoop (HDFS). Son architecture est simple et flexible, basée sur la transmission en continu des flux de données. il est robuste et tolérant aux pannes, avec des mécanismes de fiabilité ajustables pour le basculement et la récupération.

YARN coordonne l'acquisition de données à partir de Flume et d'autres services fournissant des données brutes dans un cluster Enterprise Hadoop.


Que fait Flume

Flume permet aux utilisateurs Hadoop d’absorber des données en streaming de gros volumes dans HDFS pour le stockage. Plus précisément, Flume permet aux utilisateurs de:

Une fonction

introduction

Données de flux

Intégrez des données en continu provenant de sources multiples dans Hadoop pour le stockage et l'analyse

Isoler les systèmes

Plate-forme de stockage tampon à partir de pointes transitoires, lorsque le débit des données entrantes dépasse le débit auquel les données peuvent être écrites sur la destination

Garantie de livraison des données

Flume NG utilise des transactions par canal pour garantir une livraison fiable des messages. Lorsqu'un message passe d'un agent à un autre, deux transactions sont démarrées, une sur l'agent qui transmet l'événement et l'autre sur l'agent qui reçoit l'événement. Cela garantit une sémantique de livraison garantie

Échelle horizontale

Pour ingérer de nouveaux flux de données et un volume supplémentaire au besoin


Les entreprises utilisent les puissantes fonctionnalités de diffusion en continu de Flume pour archiver des données à partir de flux à haut débit dans le système de fichiers distribués Hadoop (HDFS). Les sources typiques de ces flux sont les journaux d'applications, les données de capteurs et de machines, les données de géolocalisation et les médias sociaux. Ces différents types de données peuvent être archivés dans Hadoop pour une analyse ultérieure à l'aide de requêtes interactives dans Hive. Ils peuvent également alimenter des tableaux de bord d’entreprise alimentés en données par Hbase.


Dans un exemple spécifique, Flume est utilisé pour enregistrer les opérations de fabrication. Lorsqu'un produit est sorti de la ligne, il génère un fichier journal sur ce cycle. Même si cela se produit des centaines ou des milliers de fois par jour, les données du fichier journal volumineux peuvent être transmises via Flume à un outil d'analyse le jour même avec Storm ou des mois ou des années de production peuvent être stockés dans HDFS et analysés par une assurance qualité. ingénieur utilisant Hive.

Sa structure est indiquée ci-dessous:

Buse



  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier