【发布时间】：2020-12-16 06:30:22
【问题描述】：
我关注了this guide（为 Medium 帖子道歉），它展示了如何为 Spark 执行器和驱动程序单独打包 python 环境和库。什么时候你会期望每个库都需要不同的库？我认为一个简单但具体的例子会有所帮助。
【问题讨论】：
标签： apache-spark pyspark executor
【发布时间】：2020-12-16 06:30:22
【问题描述】：
想象一个场景，一旦 Spark 作业完成，您需要向用户发送一封电子邮件作为通知，现在这个用于发送电子邮件的特定功能将始终在驱动程序上执行。 , 所以smtplib 和相关的库只需要在驱动程序上可用，因为执行程序不会发送电子邮件。
【讨论】：
-
很好的例子。假设任何不属于 UDF 的代码可能根本不会在执行程序中运行，这通常是安全的吗？
-
这是一个正确的假设，几乎在所有情况下都有效，但也有一些例外。我将尝试获取一些示例