【发布时间】：2012-01-25 11:02:58
【问题描述】：
使用 PIG 可以读取哪些文件格式？
如何以不同的格式存储它们？假设我们有 CSV 文件，我想将其存储为 MXL 文件，如何做到这一点？每当我们使用 STORE 命令时，它都会创建目录并将文件存储为 part-m-00000 我如何更改文件名并覆盖目录？
【问题讨论】：
标签： hadoop apache-pig
【发布时间】：2012-01-25 11:02:58
【问题描述】：
使用 PIG 可以读取哪些文件格式？如何以不同的格式存储它们？
built-in loading and storing methods有几个，但数量有限：
- BinStorage - “二进制”存储
- PigStorage - 加载和存储由某些东西（例如制表符或逗号）分隔的数据
- TextLoader - 逐行加载数据（即，由换行符分隔）
piggybank 是一个社区贡献的用户定义函数库，它有a number of loading and storing methods，其中包括一个 XML 加载器，但不包括一个 XML 存储器。
假设我们有 CSV 文件，我想将其存储为 MXL 文件，如何做到这一点？
我假设你的意思是这里的 XML...在 Hadoop 中存储在 XML 中有点粗糙，因为它在 reducer 的基础上拆分文件，那么你怎么知道将根标记放在哪里？这可能应该是某种后处理来生成格式良好的 XML。
您可以做的一件事是 write a UDF 将您的列转换为 XML 字符串：
B = FOREACH A GENERATE customudfs.DataToXML(col1, col2, col3);
例如，col1、col2、col3 分别是 "foo"、37、"lemons"。你的 UDF 可以输出字符串"<item><name>Foo</name><num>37</num><fruit>lemons</fruit></item>"。
每当我们使用 STORE 命令时，它都会创建目录并将文件存储为 part-m-00000 我如何更改文件名并覆盖目录？
您不能将输出文件的名称更改为 part-m-00000 以外的名称。这就是 Hadoop 的工作原理。如果您想更改它的名称，您应该在事后使用hadoop fs -mv output/part-m-00000 newoutput/myoutputfile 之类的东西对其进行处理。这可以通过运行 pig 脚本然后执行此命令的 bash 脚本来完成。
【讨论】：