【FusionInsight HD resource Ressource d'inode de cluster DataNode

7 0 0 0

La ressource d'inode DataNode du cluster est épuisée

[Description du problème]

(1) Le FI a 12051 alarmes.

ré

(2)    Ressource inode de requête d'arrière-plan Datanode

F

Informations sur l'alarme: l'utilisation du 12051 Disk Inode dépasse le seuil

[Analyse du problème]

Le problème est dû au fait que seules les données1 dans la configuration du paramètre dfs.datanode.data.dir entraînent l'écriture des données sur le disque où la ressource inode est épuisée.

[Solution]

(1)    Arrêtez l'instance DataNode correspondante

(2)    Entrez d'abord dans le répertoire /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized, sélectionnez un répertoire pour le traitement de sauvegarde, sélectionnez subdir0 ici, enregistrez le nombre de blocs dans le répertoire .

trouver subdir0 -name blk * | wc –l

(3) Données de sauvegarde    

Copiez le répertoire /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 vers / srv / BigData / hadoop / data2 / pour le traitement de sauvegarde des données de sauvegarde http://image.huawei.com/tiny-lts/v1/images/ab47725fe8a7ce6eed55_1310x93.png@900-0-90-f.png

cp -prf /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 / srv / BigData / hadoop / data2 /

-f: copie forcée un fichier ou un répertoire, que le fichier ou le répertoire cible existe déjà;

-p : conserve les propriétés du fichier ou du répertoire source;

-R / r : traitement récursif, traitement de tous les fichiers du répertoire spécifié avec les sous-répertoires;

find / srv / BigData / hadoop / data1 /dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 -name blk * | wc -l

(4)    Migration de données vers d'autres répertoires de données tels que les données du répertoire de données2

Copiez le répertoire /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 sur un autre disque, en gardant la structure du répertoire cohérente et les informations sur les droits du propriétaire cohérentes (sinon, le le redémarrage du service hdfs échouera.), choisissez ici de copier dans data2.

cp -prf / srv / BigData / hadoop / data1 /dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0/srv/BigData/hadoop/ data2 /dn/current/BP-1296692218-172.20. 10.28-1515610727519 / actuel / finalisé /

Après l'opération de copie, vérifiez que la copie du fichier a réussi.

find / srv / BigData / hadoop / data2 /dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 -name blk * | wc -l

Supprimez le répertoire /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0 et libérez la ressource inode:

rm -rf /srv/BigData/hadoop/data1/dn/current/BP-1296692218-172.20.10.28-1515610727519/current/finalized/subdir0

(5)    Interface de gestion FI à gestion de service à HDFS à configuration de service, sélectionnez "configuration globale", modifiez la configuration des paramètres dfs.datanode.data.dir, modifiez en un répertoire de données de numéro précis, redémarrez le DataNode correspondant, si la différence de stockage de données entre les disques est relativement grande, je peux changer la valeur dfs.datanode.fsdataset.volume.choosing.policy en org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy, dfs.datanode.available-space-volume-choose-policy.balanced - La valeur de fraction de préférence d'espace est changée à 0,95, de sorte que le DataNode sélectionne préférentiellement un nœud avec une grande quantité d'espace libre sur le disque pour stocker une copie des données en fonction de l'espace restant sur le disque, mais l'opération doit redémarrer le NameNode.

[Solution]

1 、 Le paramètre de configuration dfs.datanode.data.dir doit être préparé de manière à ne pas écrire une grande quantité de données sur un disque.

2 、 Éviter l'isomérisme entre les disques


  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier