加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Java > 正文

java – 从集群获取现有的mapreduce作业(作业可以运行或完成)

发布时间:2020-12-14 16:38:57 所属栏目:Java 来源:网络整理
导读:以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业
以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业是否已从集群UI完成.

保持RunningJob是分开的,是否有一种方法来获取给定org.apache.hadoop.mapreduce.JobID的映射作业的org.apache.hadoop.mapreduce.Job对象,无论作业当前正在运行还是完成?

我试着编写如下代码:

Cluster cluster = jobClient.getClusterHandle();
Job job = cluster.getJob(JobID.forName(jobId));
log.info(“尝试使用id {},在集群{}上找到{},JobID.forName(jobId),作业,集群)获取实际工作;

我可以看到正确的jobId,也可以看到集群对象..但是cluster.getJob()方法返回null,所以作业本身为null.

有没有我在这里错过的东西?

解决方法

最近的纱线升级需要在我的系统上启用MR历史记录服务器.这解决了这个问题.我最近从MR v1升级到v2,在升级中,所有已完成的作业现在都被移动到历史服务器.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读