apache drill 连接 HDFS可以 但是连接HIVE报错

[复制链接]
发表于 : 2019-12-10 20:36:14 最新回复:2019-12-18 21:52:46
191 7
wiggins
wiggins  

  求助帖: (未解决)
        按照 https://fusioninsight.github.io/ecosystem/zh-hans/SQL_Analytics/Apache_Drill_1.15.0/ 上面安装的drill  连接HDFS 很顺滑  但是连接Hive 报错 
 微信截图_20191210203912.png ..

有点怀疑是不是平台安装有问题  这个是我们公司测试环境, 在客户的环境安装 drill 连接hive 没问题
微信截图_20191210204217.png ..

微信截图_20191210204107.png ..
附件: 您需要 登录 才可以下载或查看,没有帐号?注册
  • x
  • 常规:

点评 回复

跳转到指定楼层
sunajing
sunajing  版主 发表于 2019-12-11 09:20:46 已赞(0) 赞(0)

确定hdfs对接成功了吗?报的这个错误应该是hdfs报出的错误。使用hdfs的命令可以使用么?检查下客户端与hdfs服务端的hadoop.rpc.protection参数的配置值是否一样呢
  • x
  • 常规:

点评 回复

wiggins
wiggins   发表于 2019-12-11 10:58:27 已赞(0) 赞(0)

sunajing 发表于 2019-12-11 09:20 确定hdfs对接成功了吗?报的这个错误应该是hdfs报出的错误。使用hdfs的命令可以使用么?检查下客户端与hdfs ...
HDFS 可以连接并查询

微信截图_20191211104913.png ..

hadoop.rpc.protection 配置是一样的 
微信截图_20191211104737.png ..微信截图_20191211104848.png ..

这个hadoop.rpc.protection 配置之前是authentication 就是看网上说 是因为这个配置不同 
所以改成integrity(每次manage集群和drill 配置同时改 并且改成一样的)

我特意把 hadoop.rpc.protection 改为不一样的试了试  
javax.security.sasl.SaslException: No common protection layer between client and server

改成一样的报错是
WARN  hive.metastore - Failed to connect to the MetaStore Server...
INFO  hive.metastore - Trying to connect to metastore with URI thrift://192.168.100.73:21088
 ERROR o.a.thrift.transport.TSaslTransport - SASL negotiation failure
javax.security.sasl.SaslException: No common protection layer between client and server

会多了ERROR o.a.thrift.transport.TSaslTransport - SASL negotiation failure 这个错误信息

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
  • x
  • 常规:

点评 回复

sunajing
sunajing  版主 发表于 2019-12-11 14:29:40 已赞(0) 赞(0)

有三个地方需要配置这个参数:hdfs服务端、hive服务端、和客户端三个地方。请排查下hive服务端这个参数是否与你们改的一致。该参数再hdfs上修改后,需要手动重启所有与hdfs交互的组件。
  • x
  • 常规:

点评 回复

sunajing
sunajing  版主 发表于 2019-12-11 14:29:55 已赞(0) 赞(0)

wiggins 发表于 2019-12-11 10:58 HDFS 可以连接并查询hadoop.rpc.protection 配置是一样的 这个hadoop.rpc.protection 配置之前是authent ...
有三个地方需要配置这个参数:hdfs服务端、hive服务端、和客户端三个地方。请排查下hive服务端这个参数是否与你们改的一致。该参数再hdfs上修改后,需要手动重启所有与hdfs交互的组件。
  • x
  • 常规:

点评 回复

wiggins
wiggins   发表于 2019-12-11 16:26:30 已赞(0) 赞(0)

首先感谢大神的回复。。apache drill 连接 HDFS可以 但是连接HIVE报错-3139542-1

我检查了所有的core-site.xml文件
标红的 是不一样的配置   其中 CN01 是主节点 CN02 是备节点 
CN01CN02CN03
是不是和这些配置有关呢  我是不是要改这些呢?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
  • x
  • 常规:

点评 回复

wiggins
wiggins   发表于 2019-12-11 16:30:27 已赞(0) 赞(0)

sunajing 发表于 2019-12-11 14:29 有三个地方需要配置这个参数:hdfs服务端、hive服务端、和客户端三个地方。请排查下hive服务端这个参数是 ...
在manager 上面改完配置 我有重启相关服务 。
现在客户端的 hadoop.rpc.protection 的配置是integrity
  • x
  • 常规:

点评 回复

wiggins
wiggins   发表于 2019-12-18 21:52:46 已赞(0) 赞(0)

已经解决 集群中HDFS 的配置hadoop.rpc.protection 是privacy 才可以
  • x
  • 常规:

点评 回复

发表回复
您需要登录后才可以回帖 登录 | 注册

警告 内容安全提示:尊敬的用户您好,为了保障您、社区及第三方的合法权益,请勿发布可能给各方带来法律风险的内容,包括但不限于政治敏感内容,涉黄赌毒内容,泄露、侵犯他人商业秘密的内容,侵犯他人商标、版本、专利等知识产权的内容,侵犯个人隐私的内容等。也请勿向他人共享您的账号及密码,通过您的账号执行的所有操作,将视同您本人的行为,由您本人承担操作后果。详情请参看“隐私声明
如果附件按钮无法使用,请将Adobe Flash Player 更新到最新版本!
登录参与交流分享

登录参与交流分享

登录