Trop de connexions de métastore entraînent l'exécution lente de la tâche de ruche

16 0 0 0

[ Description du problème ]

La requête d'exécution de la ruche est lente, le client beeline se connecte lentement et le journal de la métastore signale une erreur: délai d'attente en attente d'une connexion disponible gratuite

Description du problème

[ Analyse des problèmes ]

1.      Vérifiez le journal et constatez que l'IO est volumineux. Prenez la commande show databases comme exemple. L'analyse est la suivante:

On trouve dans le journal d'audit que cette commande prend 3 secondes pour s'exécuter, principalement dans la phase de traitement.

Analyse1

Vérifiez le journal en cours d'exécution pour confirmer que le serveur de la ruche prend 3 secondes pour se connecter au métastore.

Analyse2

Analyse3

Au cours de ce processus, hiveserver commence à demander la connexion à 19: 17: 10,961 et la connexion est réussie à 19: 17: 13,053.

Affichez le journal de métastore du nœud correspondant et constatez que le métastore a accepté la demande de connexion à 19: 17: 13,053

Analyse des problèmes4

2.      Vérifiez que le métastore a généré un grand nombre de journaux (environ 400 Mo) sur une période d'une heure (18h00 à 19h00), indiquant qu'il y a beaucoup d'opérations impliquant le métastore pendant cette période.

 

Analyse des problèmes6


3.        Vérifiez la surveillance pour confirmer que le nombre de connexions de métastore a atteint la limite supérieure. Vérifiez également le journal de métastore et constatez qu'un grand nombre de journaux apparaissent Expiré en attente d'une connexion disponible gratuite .


Analyse des problèmes7

La session de connexion de MetaStore a atteint 5000+

[Cause première]

1.      Confirmez que le client se connecte directement au métastore du côté commercial et qu'un grand nombre de demandes sont envoyées au métastore. Le nombre approximatif de connexions de métastore est trop élevé et la pression est trop élevée. Fait attendre la connexion.

[Solutions]

1.        Le nombre de connexions de métastore a atteint la limite supérieure. Le métastore utilise le pool sur site. Si le nombre de connexions est atteint, la nouvelle demande sera mise en attente. La connexion sera établie lorsqu'il y a un thread de connexion libre.

Le paramètre hive.server.session.control.maxconnections peut être ajusté à 1000 dans le paramètre de service hiveserver.

2.      Ajustez maxConnectionsPerPartition de manière appropriée dans le paramètre de service de ruche. La valeur par défaut est 10. Elle peut être ajustée de manière appropriée. La valeur maximale est inférieure à 200. Il n'est pas recommandé de régler sur la valeur maximale.

3.      Ajustez dbservice.database.max.connections de manière appropriée dans les paramètres du service DBService, le maximum est inférieur à 1000

4.      Contrôlez le côté entreprise directement connecté à l'entreprise métastore, réduisant le nombre de connexions


  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier