通过REST接口访问YARN和HDFS的WEB界面

[复制链接]
发表于 : 2017-9-13 20:17:41 最新回复:2019-09-26 12:16:16
5264 10
坚卓
坚卓  导师

在应用开发中,经常遇到需要获取YARN/HDFS组件的WEB界面上内容,例如YARN上某个app的具体信息,例如HDFS某个路径文件的状态,等等。在FusionInsight HD平台安全模式下,通过FusionInsight Manager界面跳转的方式会遇到代理等方面的小麻烦。

本帖子提供一种REST接口获取这两个组件WEB界面内容的代码示例,以供参考。

注:只适用于Web Server加入org.apache.hadoop.security.authentication.server.AuthenticationFilter 这个filter来进行认证检测的场景。目前来看Spark和HBase都不支持,而YARN/HDFS/MapReduce/Hive则支持。

 

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
  • x
  • 常规:

点评 回复

跳转到指定楼层
jx142_liuz.w
jx142_liuz.w   发表于 2017-9-13 22:14:24 已赞(0) 赞(0)

感谢分享
  • x
  • 常规:

点评 回复

linV587
linV587   发表于 2017-9-26 18:16:03 已赞(0) 赞(0)

楼主,不要配置Filter吗???我新手,我现在在学习,你这个代码看着我头有点大啊!能讲讲吗?谢谢了通过REST接口访问YARN和HDFS的WEB界面-2508865-1
  • x
  • 常规:

点评 回复

坚卓
坚卓  导师 发表于 2017-9-28 16:04:24 已赞(0) 赞(0)

linV587 发表于 2017-09-26 18:16 楼主,不要配置Filter吗???我新手,我现在在学习,你这个代码看着我头有点大啊!能讲讲吗?谢谢了:lovel ...
你好: 代码能跑通吗?跟读下源码就可以了:)
  • x
  • 常规:

点评 回复

linV587
linV587   发表于 2017-10-12 10:03:37 已赞(0) 赞(0)

坚卓 发表于 2017-09-28 16:04你好:代码能跑通吗?跟读下源码就可以了:)

不好意思,代码我调通了,我想问下,我要如何才能获取到对应状态的任务信息,比如SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED等任务的信息,产品文档的Yarn开发rest api下的信息量有点少,有没有具体的客户端命令可以查询到,麻烦了,谢谢 本帖最后由 linV587 于 2017-09-28 16:04 编辑
  • x
  • 常规:

点评 回复

坚卓
坚卓  导师 发表于 2017-10-12 16:37:36 已赞(0) 赞(0)

linV587 发表于 2017-10-12 10:03 坚卓 发表于 2017-10-12 10:03你好:代码能跑通吗?跟读下源码就可以了:)不好意思,代码我调通了,我想问 ...
你好: 你可以研究下yarn社区上对此接口的定义。这部分是遵从社区的。
  • x
  • 常规:

点评 回复

liudongqing
liudongqing   发表于 2017-12-8 13:36:43 已赞(0) 赞(0)

KrbException: Server not found in Kerberos database (7) - UNKNOWN_SERVER
YARN Rest API kerberos 过不去啊,是不是需要什么配置
  • x
  • 常规:

点评 回复

mazedfishs
mazedfishs   发表于 2019-5-6 19:02:23 已赞(0) 赞(0)

liudongqing 发表于 2017-12-08 13:36 KrbException: Server not found in Kerberos database (7) - UNKNOWN_SERVER YARN Rest API kerberos 过不 ...
我也遇到同样的问题,请问解决了吗?
  • x
  • 常规:

点评 回复

user_3395621
user_3395621   发表于 2019-5-8 10:27:54 已赞(0) 赞(0)

你好,为什么token是null
  • x
  • 常规:

点评 回复

进击的发际线
进击的发际线   发表于 2019-8-6 17:17:24 已赞(0) 赞(0)

mazedfishs 发表于 2019-05-06 19:02 我也遇到同样的问题,请问解决了吗?
我也在不同集群遇到了这个问题,其中有三种解决方式
1、在客户端机器etc/hosts上配置主RM主机名-ip映射
2、双平面组网情况下配置业务网ip
3、kerserver中部分账号缺失(操作较繁琐,联系400解决)
  • x
  • 常规:

点评 回复

12
返回列表
发表回复
您需要登录后才可以回帖 登录 | 注册

警告 内容安全提示:尊敬的用户您好,为了保障您、社区及第三方的合法权益,请勿发布可能给各方带来法律风险的内容,包括但不限于政治敏感内容,涉黄赌毒内容,泄露、侵犯他人商业秘密的内容,侵犯他人商标、版本、专利等知识产权的内容,侵犯个人隐私的内容等。也请勿向他人共享您的账号及密码,通过您的账号执行的所有操作,将视同您本人的行为,由您本人承担操作后果。详情请参看“隐私声明
如果附件按钮无法使用,请将Adobe Flash Player 更新到最新版本!
登录参与交流分享

登录参与交流分享

登录