spark-shell 和 spark-sql 有什么区别？任何性能差异？

Question

Spark-shell: 基本上会打开scala> 提示符。查询需要按以下方式写的地方

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

spark-sql：这似乎直接连接到 hive 元存储，我们可以用与 hive 类似的方式编写查询。并查询 hive 中的现有数据

我想知道这两者之间的区别。在 spark-sql 中处理任何查询是否与在 spark-shell 中相同？我的意思是我们可以在 spark-sql 中利用 spark 的性能优势吗？

Spark 1.5.2 在这里。

Answer 1

spark-shell 为您提供了一个工作 Spark 环境，其中 Scala 是（编程）语言。

spark-sql 为您提供了一个以 SQL 为查询语言的 Spark SQL 环境。

请注意，spark-shell 适用于 Spark 中可用的任何 API，而 spark-sql 仅适用于 Spark SQL API（带有数据集和数据帧）。

它们只是针对具有不同技能的用户的不同界面（spark-shell 用于 Spark/Scala 开发人员，spark-sql 用于 SQL 开发人员）。

spark-sql 将 Spark 基础架构“隐藏”在 SQL 接口后面，这使得人们应该具备多少工程技能，但最终会使用 Spark SQL（以及一般的 Spark）中可用的所有优化。

在性能方面 spark-sql 和 spark-shell 是相似的。