与运行大量地图的 Datastax Cassandra 的 PIG 和 HIVE 连接答案

【问题标题】：PIG and HIVE connectivity to Datastax Cassandra running huge no of maps与运行大量地图的 Datastax Cassandra 的 PIG 和 HIVE 连接
【发布时间】：2014-09-25 12:37:38
【问题描述】：

我正在使用 DSE3.2.4 我创建了三个表，其中一个有 10M 行，另一个有 50k 行，其他只有 10 行当我对这些表运行一个简单的 PIG 或 Hive 查询时，它会为这两个表运行相同的映射器数量。

默认情况下，在 Pig 中，pig.splitCombination 是 true，其中它只运行一张地图如果我将此设置为 false，它现在正在运行 513 个地图。

在 Hive 中默认运行 513 个地图

我尝试设置以下属性

mapred.min.split.size=134217728 in `mapred-site.xml` now running 513 maps for all

set pig.splitCombination=false in pig shell 现在只为所有表运行 1 个

但没有运气

终于在job.xml中找到mapred.map.tasks = 513

我尝试在 mapred-site.xml 中更改此设置，但没有反映

请帮帮我

【问题讨论】：

标签： hadoop mapreduce cassandra hive datastax-enterprise

【解决方案1】：

映射器由分割大小管理，所以不要通过hadoop设置来配置它，尝试将&split_size=传递给你的猪url。为 hive 设置“cassandra.input.split.size”

默认为 64M

如果您的 Cassandra 使用 v-node，它会创建许多拆分，因此如果您的数据不够大，请为 hadoop 节点关闭 v-node

【讨论】：