是否可以在 azure vm 中并行运行 python？

Question

我有一个 python 脚本，它使用 joblib 并行运行程序，它工作得很好（本地机器上 100% 的 cpu 消耗）。

最近，我将 python 脚本迁移到 azure 上的数据科学虚拟机 (DSVM)，但发现多处理逻辑不起作用（cpu 消耗平均保持在 5% 的低水平）。

有谁知道 azure VM 是否支持并行化？如果是，我应该使用什么 python 包？当前使用“joblib”。

如果没有，您可以建议在 azure VM 上进行并行化的任何替代方案吗？

提前谢谢你，保持健康！！！

问候， 开尔文

Answer 1

您的本地计算机操作系统是什么（Windows、Linux、发行版、版本）？测试是在真实硬件还是虚拟环境中运行？什么虚拟化技术（Hyper-V、vmware、其他）？ Azure 提供的虚拟化应该与真实的硬件相匹配，所以我会首先查看操作系统和与并行化相关的依赖关系，即进程或线程库等。 我不是 Python 专家，但我认为应该有一种方法可以让您确定是什么阻止了一个进程或线程来启动另一个进程或线程，这是一种瓶颈。知道这一点应该引导正确的方向来解决问题。 塞萨尔