java – 从集群获取现有的mapreduce作业(作业可以运行或完成)
发布时间:2020-12-14 16:38:57 所属栏目:Java 来源:网络整理
导读:以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业
以前,我正在使用org.apache.hadoop.mapred.JobClient#getJob(org.apache.hadoop.mapred.JobID)获取RunningJob.这个调用是从作业完成回调方法进行的,但是对我来说,有一个时间问题,如果作业已经完成,那么上面的getJob()方法找不到并返回null.我可以确认该作业是否已从集群UI完成.
保持RunningJob是分开的,是否有一种方法来获取给定org.apache.hadoop.mapreduce.JobID的映射作业的org.apache.hadoop.mapreduce.Job对象,无论作业当前正在运行还是完成? 我试着编写如下代码: Cluster cluster = jobClient.getClusterHandle(); 我可以看到正确的jobId,也可以看到集群对象..但是cluster.getJob()方法返回null,所以作业本身为null. 有没有我在这里错过的东西? 解决方法
最近的纱线升级需要在我的系统上启用MR历史记录服务器.这解决了这个问题.我最近从MR v1升级到v2,在升级中,所有已完成的作业现在都被移动到历史服务器.
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
推荐文章
站长推荐
热点阅读