我正在尝试将本地存储的一些 XML 文件放入 HBase（版本 1.1.X）中。
我的目标是使用 MapReduce（no reduce stage）将这些 XML 的内容作为字符串存储在我的 HBase Table 中，而不将它们加载到 HDFS。
这是我的伪代码：
fetchXMLs(path);
XML2OneLineFile();
configureHBase(); // + establishing connection
Map(input, output); //input: one XML file in one line; output : is the Put() of HBase;
closeConnection();
这种解决问题的方法是否正确，还是有更好的方法？
ps：我不想从我的 XML 中解析或提取数据，只是存储它们。
提前致谢
【问题讨论】：
标签： xml hadoop mapreduce hdfs hbase
您可以将它们存储为 byte[]，而不是将 XML 字符串存储到 Hbase 并且您可以使用反序列化将其作为对象（序列化类型）检索。
您可以使用 Apache commons API 通过以下方式做到这一点。
例如：
byte[] xmlInBytes = org.apache.commons.lang.SerializationUtils.serialize(Serializable obj)
为了反序列化，你可以这样做
static Object deserialize(byte[] objectData)
如果 Object 可能是 w3c 文档，则应该将对象类型转换为 w3c 文档。
我已经测试过许多类型的对象，不仅是 XML。 它应该以相同的方式工作。希望这会有所帮助。
【讨论】：
Hbase 并不是真正为大型对象存储而设计的。根据您的 XML 的大小，HBase 可能不是您正在寻找的解决方案。
目前，我正在开发一个由多种文件类型（包括 XML）组成的数据库。我认为好的是将任何 1MB 以下的文件存储到 HBase，其余的存储到 Hadoop，在 SQL 或 HBase 中维护元数据。
这很大程度上取决于您想用这些数据实现什么。
【讨论】：