文件处理中的 Apache Avro

【问题标题】：Apache Avro in File Processing文件处理中的 Apache Avro
【发布时间】：2015-07-21 12:34:16
【问题描述】：

Apache Avro 在文件处理中有什么用？谁能给我解释一下，如果我需要处理 .LZO 格式的 TB 数据，它有用吗？

我可以在 C++ 和 Java 之间进行选择，哪种更适合 Avro？

我的真正目的是读取压缩文件并根据某些标准将它们分类为新的不同文件。

提前谢谢你.... :)

// Serialize user1, user2 and user3 to disk
  DatumWriter<User> userDatumWriter = new SpecificDatumWriter<User>    (User.class);
  DataFileWriter<User> dataFileWriter = new DataFileWriter<User>(userDatumWriter);
 dataFileWriter.create(user1.getSchema(), new File("users.avro"));
 dataFileWriter.append(user1);
 dataFileWriter.append(user2);
 dataFileWriter.append(user3);
 dataFileWriter.close();

【问题讨论】：

标签： java c++ apache avro lzo

【解决方案1】：

在 map-reduce 广告数据分析中，它可以帮助您避免瓶颈。在典型的 ETL 流程中，有时一切都依赖于从 A 点到 B 点的一些大数据块，如果数据被压缩，如果传输得更快的话。

文件结构也针对 hadoop 进行了优化，类似于“hadoop 序列文件”。 LZO 缺乏针对 hadoop 的特定优化结构，但正在取得进展

http://blog.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/

Arvo 文件与语言无关，LZO 和 arvo 都有 C 接口，从那篇文章来看，他们正在处理一些 pig udf，所以我希望在不久的将来某个时候看到一些 Pig LZO 桥接到 hdfs。

Arvo 文件是基于模式的， http://avro.apache.org/docs/current/spec.html#schemas

这很有用，因为您可以在运行时根据其架构发现文件的格式/结构

文档是一个很好的起点http://avro.apache.org/docs/current/

【讨论】：