【问题标题】:Adding date to new columns returns error将日期添加到新列会返回错误
【发布时间】:2016-10-16 17:02:57
【问题描述】:

我正在尝试向我的文件中添加一个新列。我想将日期添加到文件的每一行。

文件名为:2016-06-15.txt

我的文件的架构是:

A  B  C
7  8  13

我要获取:

Date        A  B  C
2016-06-15  7  8  13

为此,我将 Pig 与以下脚本一起使用:

A = LOAD 'user/cloudera/Analytics/source/file.txt' using PigStorage(' ','-tagPath');
DUMP A ;   ****--> ERROR****
STORE A INTO 'user/cloudera/Analytics/source/file.txt' USING PigStorage(' ');  ****--> ERROR****

但是我遇到了一个错误,我没有任何可用的日志 :( 任何人都可以提供帮助吗?非常感谢!

【问题讨论】:

  • 请将错误添加到您的问题中。

标签: apache-pig hdfs


【解决方案1】:

您必须使用 -tagFile 选项将文件名作为第一个字段。 在此之前检查以确保文件路径正确。看起来文件路径的开头缺少正斜杠。确保在 PigStorage 中使用正确的分隔符。似乎列由制表符或多个空格分隔。最后选择一个不同的文件夹来存储新文件,否则你会得到一个文件存在错误。

A = LOAD '/user/cloudera/Analytics/source/2016-06-15.txt' using PigStorage(' ','-tagFile');
STORE A INTO '/user/cloudera/Analytics/NEW_source/2016-06-15.txt' USING PigStorage(' ');

【讨论】:

  • Store 语句将在您指定的位置和格式创建它。
  • 感谢 inquisitive_mind :) 它返回了我想要的 :D 非常感谢!再问一个问题:这样将txt文件分成2个文本文件,可以在同一个脚本上聚合成一个吗?
  • 不,我不这么认为。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-21
  • 1970-01-01
相关资源
最近更新 更多