ans HDFS mv ou distcp camand est plus rapide que cp comand

13 0 0 0

Dans HDFS , la commande mv et ditcp est plus rapide que la commande cp

  [Version] FusionInsight V100R002 ***

[Description du problème]

(1) Lorsque vous exécutez la commande hdfs cp pour copier des fichiers de 500 Mo, cela prend 11 secondes:

X

(2)    Lorsque vous exécutez la commande hdfs mv pour copier un fichier, cela prend beaucoup moins de temps que la commande cp. Cela ne prend que 2,7 secondes environ:

s

[Informations sur l'alarme] aucune

[Analyse du problème]

(1)    Exécutez la commande hdfs mv, il vous suffit de modifier les informations de métadonnées dans le NameNode. spacer.gifspacer.gifspacer.gifspacer.gifspacer.gifspacer.gifspacer.gifspacer.gifspacer.gif

ré

(2)    Pour exécuter la commande hdfs cp, vous devez lire le fichier sur le client et le réécrire sur le serveur. En raison des opérations réseau, cela prend beaucoup de temps.

ré

[Solution]

(1)    Lors du déplacement de grandes quantités de données, il est recommandé de remplacer cp par mv si l'entreprise le permet.

(2)    Lors du déplacement de grandes quantités de données, il est recommandé d'utiliser distcp au lieu de cp pour distribuer les fichiers distribués via la tâche MR.

(3)    Il est préférable d'utiliser un client dans le cluster pour copier des données et les performances seront plus stables.

[Conclusion]

Dans le scénario de migration des données HDFS, la commande cp est inefficace, car les données transitent par le client. Il est recommandé de le remplacer par mv ou distcp.


  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier