Il y a un problème avec Spark pour le développement

Dernière réponse oct. 11, 2019 10:33:17 763 1 0 0

Lorsque j'utilisais spark, j'ai constaté que je ne pouvais pas enregistrer le fichier orc sans le sortir dans le répertoire spécifié lors de l'appel de la méthode saveAsHadoopFile.

  • x
  • Standard:

Med_Taher
publié il y a 2019-10-11 10:33:17 Utile(0) Utile(0)

Bonjour Monsieur!

 

Il peut être enregistré dans le chemin spécifié à l'aide du format TextOutputFormat . OrcOutputFormat ne peut pas être enregistré dans le chemin spécifié, car l'implémentation getRecordWriter de OrcOutputFormat est différente de celle de getRecordWriter de TextOutputFormat .

 

TextOutputFormat est implémenté du côté hadoop. Le chemin peut être obtenu via mapreduce.output.fileoutputformat.outputdir .

 

OrcOutputFormat est implémenté du côté de la ruche et ne peut pas lire les paramètres de chemin de sortie spécifiés.


Pour utiliser le cadre de données de Spark, vous pouvez vous référer à cette méthode:

 

Il y a un problème avec Spark pour le développement-3006005-1



  • x
  • Standard:

Commentaire

envoyer
Connectez-vous pour répondre. Se connecter | Enregistrer

Remarque Remarque : Afin de protéger vos droits et intérêts légitimes, ceux de la communauté et des tiers, ne divulguez aucun contenu qui pourrait présenter des risques juridiques pour toutes les parties. Le contenu interdit comprend, sans toutefois s'y limiter, le contenu politiquement sensible, le contenu lié à la pornographie, aux jeux d'argent, à l'abus et au trafic de drogues, le contenu qui peut divulguer ou enfreindre la propriété intellectuelle d'autrui, y compris les secrets professionnels, les marques commerciales, les droits d'auteur et les brevets, ainsi que la vie privée personnelle. Ne partagez pas votre nom d'utilisateur ou votre mot de passe avec d'autres personnes. Toutes les opérations effectuées à partir de votre compte seront considérées comme vos propres actions, et toutes les conséquences en découlant vous seront imputées. Pour plus de détails, voir « Politique de confidentialité ».
Si le bouton de la pièce-jointe n'est pas disponible, mettez à jour Adobe Flash Player à la dernière version.
Connectez-vous pour participer à la communication et au partage

Connectez-vous pour participer à la communication et au partage

S'identifier