Datastax Cassandra PIG 只运行一个 MAP

Question

我正在使用带有两个节点的 Datastax Cassandra 3.1.4。我正在使用 CqlStorage() 运行 pig，表中有 1200 万行，但我发现只有一个 map 运行一个简单的 pig 命令。

我尝试在我的猪关系中更改 split_size，但没有成功。

这是我的示例查询。

x = load'cql://Mykeyspace/MyCF?split_size=1000' using CqlStorage();
y = limit x 500;
dump y

我在 mapred-site.xml 中没有找到 input.split.size 属性，我假设默认拆分大小为 64*1024

我试过set pig.splitCombination false;

现在它为任何数量的记录拍摄了 513 张地图，我从 Hive 尝试了同样的事情

我已经从 Hive 连接到 Cassandra，并给出了一个简单的全选查询，其中 col1>value 这个表只有 10 条记录，但它仍在运行 513 个地图。

请帮我解决这个问题

谢谢

Answer 1

试试这个设置：

set pig.splitCombination false;

默认情况下，猪会combine what it considers small splits into a single map。