在 EMR 上运行 Pig 脚本

Question

所以我使用以下文件作为输入： https://svn.apache.org/repos/asf/pig/trunk/tutorial/data/excite-small.log

我现在的代码是

-- FileName: excite-small.log
log  = LOAD 'excite-small.log' AS (user, timestamp, query);
grpd = GROUP log BY user;
cntd = FOREACH grpd GENERATE group, COUNT(log);
STORE cntd INTO 'output'

我使用http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-pig-launch.html 中提到的步骤在 EMR 上运行此作业

**我设置了以下参数**

1. For Script Location: s3://mybucket/test.pig
2. For Input Location:  s3://mybucket/excite-small.log
3. For Output Location: s3://mybucket/
4. Arguments: Blank

当我运行这个作业时，我收到一个错误 Input path does not exist。我认为这与REGISTER 有关，但我不太确定。有人可以建议我做错了吗？

Answer 1

在您的 PIG 脚本中，完整引用输入文件，例如：

log  = LOAD 's3://mybucket/excite-small.log' AS (user, timestamp, query);

或者，使用传入的INPUT路径：

log = LOAD '$INPUT' AS (user, timestamp, query);

在这里找到了一个很好的解释：

• Analyzing Logs with Pig and Elastic MapReduce