spark和pyspark之间的实体或语义差异？

Question

从语义上讲，spark 是一个框架。

1)Pyspark 只是对用 scala 编写的函数的类 python 调用者的集合？

如果我定义自己的一组函数而不是像这样的标准函数：

def sum(a,b):
   return a+b

def subtract(a,b):
   return a-b

并使用它们而不是常规：

c = a+b
c = sum(a,b)

这是否类似于pyspark内部工作机制的本质？ 对于那些不了解 Scala 但想立即开始使用 spark 的人来说，Pyspark 的语法基本类似？

2) 如果我在 spark 上使用 python - 那么我使用的是 pyspark。 关于 pyspark 的 2 个陈述是否正确？

Answer 1

1) Pyspark 只是对用 scala 编写的函数的类 python 调用者的集合？

也许这就是你的意思……底层引擎是一样的。我想一个更好的类比可能是 Pyspark 是“Spark”，就像 httplib 和 okhttp 是 http。它为您提供了一个调用相同核心引擎的 API。由于 Spark 在 JVM 上运行，我们用 JVM 语言（如 Scala 或 Java）编写的驱动程序直接使用 API，但针对 Python API 编写的程序通过运行在 JVM 上的 Python 解释器。不过，这是一个实施问题。
Pyspark 与使用不同语言的同一 API 的另一个实现不同，更像是同一实现的不同接口。当然，驱动程序本身带来了在执行中运行Python代码的需求（Python函数/程序中调用的代码）。

2) 如果我在 spark 上使用 Python - 那么我使用的是 Pyspark。

如果您为 Spark 调用 Python API，用 Python 编写驱动程序，那么您就是在使用 Pyspark。在此，我包括调用 Pyspark 提供的模块（例如 pyspark.sql.*），以及您自己在管道中调用的函数/逻辑（例如 my_rdd.map(my_custom_function)，其中 my_custom_function 是您自己用 Python 编写的函数）。 “在 spark 上使用 Python” 在我看来，Spark 是一个 Python 实现，但事实并非如此（或至少不应该如此）。

---

现在，值得一提的是，Pyspark 是 Spark 生态系统的一部分。只是我们没有 Spark with Scala（“ScalaSpark”？）或 Spark with Java 的流行名称，因为我们有 Pyspark 和 SparkR.