【问题标题】:Issue loading data in Hive (group related)在 Hive 中加载数据问题(组相关)
【发布时间】:2018-02-21 06:11:38
【问题描述】:

我有一个 sample_data 文件(之前在 hive 表 people 中创建了架构 运行以下命令以在人员表中加载数据时:

LOAD DATA LOCAL INPATH 'sample_data.csv' OVERWRITE INTO TABLE people;

我得到以下跟踪:

将数据加载到表 default.people 失败并出现异常 Unable to 移动源文件:/home/hduser1/sample_data.csv 到目的地 hdfs://hive-master:54310/user/hive/warehouse/people/sample_data.csv 失败:执行错误,返回代码 1 从 org.apache.hadoop.hive.ql.exec.MoveTask

尝试跟随但徒劳无功:

hadoop fs -chmod g+w /user/hive/warehouse 
sudo chmod -R 777 /home/hduser1/sample_data.csv 

进一步,分析显示了一些有趣的东西

-rwxrwxrwx 1 hduser1 hadoop_group      2874 Feb 21 09:50 sample_data.csv

注意:文件 sample_data.csvhadoop_group 中的 hduser1 具有访问权限,而以下行显示 / user/hive/warehouse 拥有 supergroup 中 hduser1 的访问权限。

drwxrwxrwx   - hduser1 supergroup          0 2018-02-21 10:35 /user/hive/warehouse/people

我该如何克服这个问题?我是否缺少任何类型的配置?

【问题讨论】:

  • @Bala 这是一个标准程序。为此,我必须配置一个 hive-site.xml 文件并在其他地方更改 hdfs 路径,结果将是相同的......

标签: hadoop hive


【解决方案1】:

当您将LOCAL 选项与LOAD DATA INPATH... 一起使用时,该文件应位于运行Hive 的服务器上。如果你无权访问,最好的办法是手动将数据移动到HDFS并使用LOAD DATA INPATH...

【讨论】:

  • 我在运行 hive 的服务器上有文件,您可以在问题中看到声明的访问权限。我们有权这样做。但是让我试试手动复制的东西,并在成功检索后回复您。谢谢
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-12-31
  • 1970-01-01
相关资源
最近更新 更多