Résumé du serveur HDFS RPC

9 0 0 0

1. Type de serveur RPC


Le tableau suivant répertorie les types de serveur RPC et les paramètres de configuration associés dans HDFS. Le fichier \ org \ apache \ hadoop \ hdfs \ server \ namenode \ NameNodeRpcServer.java décrit la déclaration et la configuration initiale du serveur RPC.


Type de RPC

Paramètre

Valeur par défaut

lifelineRpcServer

dfs.namenode.lifeline.rpc-bind-host

 

dfs.namenode.lifeline.rpc-address

 

 

dfs.namenode.lifeline.handler.ratio

0.1f

dfs.namenode.lifeline.handler.count

 

Math.max ((int) (handlerCount * lifelineHandlerRatio), 1);

clientRpcServer

dfs.namenode.rpc-bind-host

 

dfs.namenode.rpc-address

 

dfs.namenode.handler.count

dix

serviceRpcServer

dfs.namenode.servicerpc-bind-host

 

dfs.namenode.servicerpc-address

 

dfs.namenode.service.handler.count

dix

 

2. Description du paramètre clientRpcServer


2.1. dfs.namenode.rpc-bind-host


Spécifiez l'adresse réelle liée au serveur RPC. Si cette adresse est définie, la partie du nom d'hôte de dfs.namenode.rpc-address sera écrasée. Il peut également spécifier NameNode ou NameService for HA / Federation. Si ce paramètre est défini sur 0.0.0.0 , NameNode écoute toutes les interfaces.


2.2. dfs.namenode.rpc-address


Spécifiez l'adresse RPC pour le traitement de toutes les demandes du client. S'il existe plusieurs processus NameNode pour HA / Fédération, vous devez ajouter l'ID NameService au nom du paramètre, par exemple, dfs.namenode.rpc-address.ns1 . La valeur est au format nn-host1: rpc-port .


2.3. dfs.namenode.handler.count


Écoutez le nombre de threads du serveur NameNode RPC contenant les demandes des clients. Si l' adresse dfs.namenode.servicerpc n'est pas configurée, les threads du serveur NameNode RPC doivent écouter les demandes de tous les nœuds.


3. Description du paramètre serviceRpcServer


3.1. dfs.namenode.servicerpc-bind-host


Spécifiez l'adresse réelle liée au serveur RPC de service. Si ce paramètre est défini, la partie du nom d' hôte de l'adresse dfs.namenode.servicerpc sera remplacée. Il peut également spécifier NameNode ou NameService for HA / Federation. Si ce paramètre est défini sur 0.0.0.0 , NameNode écoute toutes les interfaces.


3.2. dfs.namenode.servicerpc-address


Spécifiez l'adresse RPC utilisée pour la communication avec le service HDFS. Si le paramètre est défini, BackupNode, Datanodes et tous les autres services sont connectés à l'adresse. S'il existe plusieurs processus NameService pour HA / Fédération, vous devez ajouter l'ID NameService au nom du paramètre, par exemple, dfs.namenode.servicerpc-address.ns1 . La valeur est au format nn-host1: rpc-port . Si le paramètre n'est pas défini, la valeur de dfs.namenode.rpc-address est utilisée comme valeur par défaut.


3.3. dfs.namenode.service.handler.count


Écoutez le nombre de threads de serveur NameNode RPC de demandes provenant de DataNode et d'autres noeuds non clients. dfs.namenode.service.handler.count est valide uniquement lorsque l' adresse dfs.namenode.servicerpc-address est configurée.


4. Description du paramètre lifelineRpcServer


4.1. dfs.namenode.lifeline.rpc-bind-host


Spécifiez l'adresse réelle liée au serveur RPC de la ligne de vie. Si cette adresse est définie, la partie du nom d'hôte de dfs.namenode.lifeline.rpc-address sera écrasée. Il peut également spécifier NameNode ou NameService for HA / Federation. Si ce paramètre est défini sur 0.0.0.0 , NameNode écoute toutes les interfaces.


4.2. dfs.namenode.lifeline.rpc-address


Spécifiez l'adresse RPC de la ligne de vie NameNode. Il s'agit d'une adresse RPC facultative, qui peut être utilisée pour effectuer un rapport de contrôle d'intégrité et d'état du noeud, évitant ainsi l'épuisement des ressources dans le pool de programmes de traitement RPC principal. S'il existe plusieurs processus NameNode pour HA / Fédération, vous devez ajouter l'ID NameSer au nom du paramètre, par exemple, dfs.namenode.lifeline.rpc-address.ns1 . La valeur est au format nn-host1: rpc-port . Si ce paramètre n'est pas défini, NameNode ne démarre pas le serveur RPC de la ligne de vie. Par défaut, ce paramètre n'est pas défini.


4.3. dfs.namenode.lifeline.handler.ratio


Indiquez le rapport entre dfs.namenode.lifeline.handler.count et dfs.namenode.handler.count . La valeur de dfs.namenode.handler.count est la fonction du nombre de nœuds DataNode dans le cluster. Ce paramètre permet d’ajuster automatiquement le nombre de threads traités par le serveur RPC de la ligne de vie. Le traitement des messages étant léger, le nombre de threads traités par le serveur RPC de la ligne de vie est inférieur à celui requis par le serveur RPC NameNode actif. Si dfs.namenode.lifeline.handler.count est configuré, ce paramètre n'est pas utilisé. dfs.namenode.lifeline.handler.count spécifie le nombre absolu de threads. Si dfs.namenode.lifeline.rpc-address n'est pas configuré, ce paramètre ne prend pas effet.


4.4. dfs.namenode.lifeline.handler.count


Indiquez le nombre absolu de threads exécutés sur le serveur RPC de la ligne de vie NameNode. Ces threads sont utilisés pour traiter le protocole de ligne de vie des requêtes DataNode et de vérification de l'intégrité HA de ZKFC. Si ce paramètre est défini, la valeur de dfs.namenode.lifeline.handler.count est remplacée. Par défaut, ce paramètre n'est pas défini. Si dfs.namenode.lifeline.rpc-address n'est pas configuré, ce paramètre ne prend pas effet.


5. Divers protocoles et services du serveur RPC


Le fichier \ org \ apache \ hadoop \ hdfs \ server \ namenode \ NameNodeRpcServer.java décrit également les protocoles et les services utilisés par le serveur RPC.

Les protocoles et services impliqués dans serviceRpcServer et clientRpcServer sont les mêmes. Cependant, serviceRpcServer traite les demandes de service du serveur et clientRpcServer traite les demandes de service des clients.


Type de RPC

Protocoles et services applicables

serviceRpcServer

ClientNamenodeProtocolPB

HAServiceProtocolPB: haPbService

NamenodeProtocolPB: NNPbService

DatanodeProtocolPB: dnProtoPbService

RefreshAuthorizationPolicyProtocolPB: refreshAuthService

RefreshUserMappingsProtocolPB: refreshUserMappingService

RefreshCallQueueProtocolPB: refreshCallQueueService

GenericRefreshProtocolPB: genericRefreshService

GetUserMappingsProtocolPB: getUserMappingService

TraceAdminProtocolPB: traceAdminService

clientRpcServer

ClientNamenodeProtocolPB

HAServiceProtocolPB: haPbService

NamenodeProtocolPB: NNPbService

DatanodeProtocolPB: dnProtoPbService

RefreshAuthorizationPolicyProtocolPB: refreshAuthService

RefreshUserMappingsProtocolPB: refreshUserMappingService

RefreshCallQueueProtocolPB: refreshCallQueueService

GenericRefreshProtocolPB: genericRefreshService

GetUserMappingsProtocolPB: getUserMappingService

TraceAdminProtocolPB: traceAdminService

lifelineRpcServer

HAServiceProtocolPB

DatanodeLifelineProtocolPB: lifelineProtoPbService



  • x
  • Standard:

Responder

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier