【发布时间】：2013-10-17 18:56:01
【问题描述】：
我写了一个 Pig 脚本，想在 Hadoop 集群上执行它。我如何衡量总处理时间？有什么命令可以让我得到从头到尾的处理时间吗？
【问题讨论】：
标签： performance hadoop apache-pig
【发布时间】：2013-10-17 18:56:01
【问题描述】：
编辑：添加了 time 替代方案。
要知道需要多长时间（以秒为单位）：
time pig <options>
另一种方法：
d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc
或者，在一行中：
d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc
你也可以看看 pig 的输出。当您在命令行中运行 pig 脚本时，您将在输出的末尾看到：
HadoopVersion PigVersion UserId StartedAt FinishedAt Features
...
然后你可以减去FinishedAt - StartedAt。
【讨论】：
-
你的第二种方法是我会做的，但对于第一种，为什么不直接使用
time？ -
@WinnieNicklaus 你说得对，就是这样做的。我刚刚在我的回答中添加了
time。