使用预先排序的数据加速 Hive 或 Pig 聚合

Question

我想加速 Amazon EMR 上的简单 Apache Hive (0.13.1) 或 Pig（版本 0.12.0）聚合作业。我的数据已经按需要聚合的键排序，我希望作业能够使用它。

蜂巢：

[..some 'set' calls etc...]
CREATE EXTERNAL TABLE ngrams (gram string, year int, occurrences bigint,pages bigint, books bigint)
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  STORED AS TEXTFILE
  LOCATION 's3://mybucket/3gram/';
INSERT OVERWRITE TABLE s3 select gram, sum(occurrences) from ngrams where year >= 1910 group by gram;

对于 Hive，我找不到告诉它数据已经排序的方法。

猪：

ngrams = LOAD 's3://mybucket/3gram/' AS (ngram:chararray, year:int, counter:int, pages:int);
filtered = FILTER ngrams BY year >= 1910;
grouped = GROUP filtered BY (ngram);
summed = FOREACH grouped GENERATE group, SUM(filtered.counter);

对于 Pig，我发现 GROUP ... USING 'collected' 应该使用排序，但我得到：

While using 'collected' on group; data must be loaded via loader implementing CollectableLoadFunc

那么我怎样才能以排序的方式加载数据呢？我在网上找到了 LOAD 和 USING org.apache.hadoop.zebra.pig.TableLoader() 的例子，但 Pig 抱怨它不知道那个类。

Answer 1

首先，如果它不是 hadoop 的一部分，您需要 REGISTERzebra。

如果你需要构建jar：

1. 获取PIG 12.0的源码
2. 编译猪

3. 编译斑马(ant zebra)

   注册 '/yourpath/pig-0.12.0/build/contrib/zebra/zebra-0.8.0-dev.jar';

其次，据我所知（并尝试过），您不能使用 TableLoader 使用行格式（通常的文本文件）LOAD 数据。数据必须事先使用 TableStorer 存储，后者将以面向列的格式写入数据，包括架构。

您可以试试这个并检查输出/错误：

ngrams_row = LOAD 's3://mybucket/3gram/' AS (ngram: chararray, year:int, counter: int, pages: int);
STORE ngrams_row INTO 's3://mybucket/3gram-zebra/' using org.apache.hadoop.zebra.pig.TableStorer('[ngram];[year,counter,pages]');
ngrams_zebra = LOAD 's3://mybucket/3gram-zebra/' USING org.apache.hadoop.zebra.pig.TableLoader('ngram,year,counter,pages', 'sorted'); 

DESCRIBE ngrams_zebra;
DUMP ngrams_zebra;