HDInsight 是否仅适用于 ASV（blob 存储）？答案

【问题标题】：Does HDInsight only work with ASV (blob storage)?HDInsight 是否仅适用于 ASV（blob 存储）？
【发布时间】：2013-08-26 19:06:46
【问题描述】：

我想以我可以轻松报告的格式将 map reducer 生成的数据保存在 hdinsight 中。理想的表结构（Azure 表存储）。做了一些研究后，看起来 HDInsight 服务只能与 Azure Storage Vault (ASV) 一起使用（读取和写入）。对吗？

我更喜欢在 C# 中实现 hdinsight 映射器/缩减器。

我对 hive 或 pig 不太了解，想知道是否有一种功能可以将 reducer 的结果保存在 ASV 以外的外部（天蓝色表）数据存储中？

【问题讨论】：

【解决方案1】：

目前支持 HDInsight 的默认存储是 ASV。您还可以将数据存储在 HDInsight 群集上的“本地”HDFS 文件系统上。但是，这意味着保持集群永久运行，并将您的存储限制在计算节点上。这可能会变得非常昂贵。

一种解决方案可能是根据大小和您打算对它们做什么，将结果输出到 SQL 服务器（或 SQL Azure）之类的东西中。

另外，我目前正在开发 connector between Hive and Azure Tables，它目前允许您从 Azure Tables 读取到 Hive（通过外部表），但很快也会获得写入支持。

【讨论】：

感谢您证明我的假设。我不希望将数据存储在 HDInsight“本地”高清上。我也会研究 sqoop，但很可能会坚持使用 ASV 并在 Azure 中处理 blob，然后再对数据进行报告，因为最繁重的工作将由 map/reducer 执行，不使用 hadoop 的优势是没有意义的。