【发布时间】：2015-06-04 07:59:02
【问题描述】：
我似乎找不到太多关于它的文档，但是当我在 Spark SQL 中从 Hive 中提取数据时，它是如何检索架构的，它是否会自动在 Hive Metastore 中查找？还有 Hive 告诉 spark 查看文件位置以将数据拉入 DataFrame 吗？它是如何处理视图的，还是不能处理视图？
【问题讨论】：
标签： apache-spark apache-spark-sql
【发布时间】：2015-06-04 07:59:02
【问题描述】：
- 是的，它会查找 hive 元存储。
- Spark 将 Hive 查询委托给 Hive。它捕获输出并将其转换为行的数据帧。 来自文档：
使用 Hive 时，必须构造一个 HiveContext，它 继承自 SQLContext，并添加了对在 MetaStore 和使用 HiveQL 编写查询
【讨论】：
-
如果我想运行使用 Eclipse 独立模式连接 hive 元存储的 sparl sql 代码，我应该将 hive-site.xml 文件放在哪里？还有其他方法可以正确配置 hivecontext 吗？
-
您确定第 2 点吗？在 hivecontext 中，Spark 从 hive 元存储中读取元数据并支持 hiveQL 但不认为将查询委托给 hive，您有任何链接到支持第 2 点吗？