【发布时间】:2013-07-10 00:43:51
【问题描述】:
我正在编写一个 hadoop 作业,它应该收集在集群中运行的所有作业的开始和完成时间,并将这些数据上传到 blob。但是,我不确定如何获取此信息,因为工作似乎无法访问工作跟踪器。有什么想法吗?
【问题讨论】:
标签: java azure hadoop mapreduce
我正在编写一个 hadoop 作业,它应该收集在集群中运行的所有作业的开始和完成时间,并将这些数据上传到 blob。但是,我不确定如何获取此信息,因为工作似乎无法访问工作跟踪器。有什么想法吗?
【问题讨论】:
标签: java azure hadoop mapreduce
您可以使用JobInProgress 类提供的getLaunchTime() 和getFinishTime() 方法。 API 还有一个JobTracker 类,它提供getJobsFromQueue(String queue) 方法,可用于获取提交到特定队列的所有作业。
除了这些方法之外,这些类还有一些其他非常有用的方法,您可能会觉得很有帮助。
HTH
【讨论】: