【发布时间】:2015-06-04 09:06:49
【问题描述】:
由于全局解释器锁,python 通常不能很好地处理多线程。
这是否也会影响在多线程本地模式 (local[n]) 下运行的 pyspark 应用程序?
【问题讨论】:
标签: python apache-spark pyspark gil
由于全局解释器锁,python 通常不能很好地处理多线程。
这是否也会影响在多线程本地模式 (local[n]) 下运行的 pyspark 应用程序?
【问题讨论】:
标签: python apache-spark pyspark gil
pyspark 中的并行化是通过 daemon.py 调用 os.fork() 创建多个工作进程来实现的,因此不会出现 GIL 问题。
【讨论】: