【问题标题】:Are 'local[n]' pyspark applications effected by the GIL?'local[in]' pyspark 应用程序是否受 GIL 影响?
【发布时间】:2015-06-04 09:06:49
【问题描述】:

由于全局解释器锁,python 通常不能很好地处理多线程。

这是否也会影响在多线程本地模式 (local[n]) 下运行的 pyspark 应用程序?

【问题讨论】:

    标签: python apache-spark pyspark gil


    【解决方案1】:

    pyspark 中的并行化是通过 daemon.py 调用 os.fork() 创建多个工作进程来实现的,因此不会出现 GIL 问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-05-05
      • 2020-07-26
      • 1970-01-01
      • 2023-03-12
      • 1970-01-01
      • 2013-06-27
      相关资源
      最近更新 更多