为 Hive 构建 Spark SQL？

Question

我已经下载了 spark 版本 - 1.3.1 并且包类型是 Pre-build for Hadoop 2.6 及更高版本

现在我想使用 spark shell 在 scala 代码下运行，所以我按照这些步骤操作

1. bin/spark-shell

2. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

3. sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

现在的问题是，如果我在 Hue 浏览器上验证它

select * from src;

然后我得到

找不到表异常

这意味着未创建表我如何使用 spark shell 配置 hive 以使其成功。我想使用 SparkSQL，还需要从 hive 中读取和写入数据。

我偶然听说我们需要将 hive-site.xml 文件复制到 spark 目录中的某个位置

谁能解释一下步骤 - SparkSQL 和 Hive 配置

谢谢 图沙尔

Answer 1

确实，hive-site.xml 方向是正确的。看看https://spark.apache.org/docs/latest/sql-programming-guide.html#hive-tables。

听起来您希望从 spark 中创建一个 hive 表，以查看与上述相同文档中的“保存到持久表”。