【FusionInsight HD】 L'envoi de données de production au serveur kafka échoue, idées et méthodes de localisation des problèmes

10 0 0 0

L'envoi des données de production au serveur kafka échoue, les idées et les méthodes de localisation des problèmes

[Version] FusionInsight V100R002 ***

[Description du problème]

Description du défaut du client producteur:

Kafka envoie souvent des données anormales et n'a pas pu se guérir. Après avoir redémarré Kafka, le service est restauré. Le client peut imprimer anormalement ne peut pas envoyer de message kafka!

e

Description du défaut du serveur:

Connectez-vous à la page FI  Gestion des services  kafka Observez le nombre de partitions non synchronisées sur le côté droit du courtier et modifiez le taux de demande total (s'il n'y a pas un tel élément dans l'affichage en temps réel sur le côté droit, vous pouvez cliquer sur le côté droit pour vérifier ces deux articles personnalisés. Cliquez sur OK. S'affichera)

Si la synchronisation partielle est soudainement augmentée et le taux de demande est soudainement réduit, le serveur peut être anormal. Veuillez effectuer les étapes de collecte d'informations suivantes.

[analytique]

(1)    Trouver le jstack du processus d'erreur Kafka par commande

1.1    ID du processus du courtier de requêtes: ps –ef | grep kafka

F

1.2 Connectez-vous à plusieurs nœuds d'arrière-plan Kafka su - omm

Numéro de processus Jstack Kafka > /tmp/kafka.jstack

Il est recommandé d'imprimer 3 jstacks toutes les 10 secondes, collecter kafka.jstack

(2)    Le niveau du journal Kafka a été modifié pour déboguer cinq minutes  

2.1 Connectez-vous à la page FIManager: Gestion des services → kafka → Configuration des services → Type de paramètre: Toutes les configurations → Saisissez le nom du paramètre à modifier dans la zone de recherche à droite.

2.2 kafka.log.level 、 kafka.network.requestchannel.log.level 、 kafka.request.log.level 、 root.log.level Le niveau de journal est DEBUG

2.3 Cliquez sur dans le coin supérieur gauche pour enregistrer la configuration et cliquez sur OK.

2.4 Après avoir attendu 5 minutes, modifiez-le pour revenir à INFO et enregistrer la configuration.

2.5 Page de connexion à FI → Paramètres système → Téléchargement du journal

Service: kafka: courtier

Hôte: ne sélectionnez pas tous les hôtes par défaut pour déployer les services kafka.

Heure: Prenez le journal de service Kafka de 1 heure avant l'heure anormale à l'heure actuelle.

(3)   Tous les détails de la partition

3.1 Exécutez la commande suivante pour basculer vers le répertoire d'installation du client.

répertoire d'installation du client cd kafka

3.2 Exécutez la commande suivante pour configurer les variables d'environnement

source bigdata_env

3.3 Si le cluster est en mode sécurisé, exécutez la commande suivante pour l'authentification des utilisateurs. Les clusters en mode normal n'ont pas besoin d'effectuer l'authentification des utilisateurs.

Utilisateur professionnel du composant Kinit

3.4 Exécutez la commande suivante sur le client Kafka: kafka-topics.sh --describe --zookeeper 26.3.6.3:24002/kafka> /tmp/partition-describe.log

Collecte partition-describe.log

En résumé, collectez: kafka.jstack, partition-describe.log, journal du courtier

[Cause première]

1.   Dépannez le réseau et n'avez trouvé aucune anomalie

2.   Il n'y a aucune erreur évidente dans le journal du courtier.

3.   L'erreur suivante s'est produite dans Jstack: les deux threads de demande ont un blocage.


  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier