有没有人尝试过在 Spark 中使用 python 概率编程库？或者有没有人知道这需要什么？
我觉得 Edward 会是最简单的，因为已经有连接 Tensorflow 和 Spark 的工具，但仍然不清楚需要进行哪些低级代码更改。
我知道分布式 MCMC 仍然是一个积极研究的领域（请参阅MC-Stan on Spark?），那么这是否合理实施？谢谢！
【问题讨论】：
标签： apache-spark tensorflow pymc3 edward pyro.ai
您可以将 Tensorflow 连接器与 Edward 一起使用，因为它基于 Tensorflow，MCMC 的主要缺点之一是计算量很大，您可以尝试对贝叶斯模型进行变分推理，它近似于目标分布。 （我相信这也适用于 Pyro 和 PyMC3），你也可以使用分布式的 Tensorflow tensorflow distributed
我还建议您使用/尝试一个名为“Dask”的库 "https://dask.pydata.org/en/latest/Dask，你可以将你的模型从你的工作站扩展到一个集群，它也有 Tensorflow 连接器。
希望对你有帮助
【讨论】：
我见过有人在 PySpark 中运行 Pyro+PyTorch，但用例是纯 CPU 且不涉及分布式训练。
【讨论】：