【问题标题】:Can I run my jupyter notebook that contains seaborn code on GPU?我可以在 GPU 上运行包含 seaborn 代码的 jupyter 笔记本吗?
【发布时间】:2019-10-03 21:19:44
【问题描述】:

我的系统中有 CUDA 兼容的 GPU (Nvidia GeForce 1060)。在分析更大的数据集时,我经常不得不使用 seaborn 库的 pair plot 函数,它消耗大量时间。有没有办法可以在 GPU 上运行我的整个笔记本。我的意思是,除了 seaborn,我想在 GPU 上运行我的所有代码,这可能吗?

我在 youtube 上观看了一些建议使用 numba python 编译器和 jit 注释的视频,我想知道是否有可以应用于 anaconda 框架的通用设置,以便无论我在 anaconda 上运行什么都应该利用 GPU。

我知道 tensorflow 和 keras 可以在 GPU 上运行。

【问题讨论】:

  • 不,没有通用的方法可以运行“我在 GPU 上的所有代码”。这是不可能的,无论是在 Jupyter 笔记本、Anaconda 还是任何其他设置中。
  • 谢谢,罗伯特,这有帮助!
  • 好问题 chotu!

标签: machine-learning cuda jupyter-notebook gpu


【解决方案1】:

有没有一种方法可以在 GPU 上运行我的整个笔记本。我的意思是,除了 seaborn,我想在 GPU 上运行我所有的代码,有可能吗?

总之,没有,没有。无法在 GPU 上运行通用 Python 代码或库。

我知道tensorflowkeras 可以在 GPU 上运行。

tensorflow 和 keras 都不能在 GPU 上“运行”。他们可以使用 GPU 加速部分计算,但该过程并不涉及在 GPU 上运行一行 Python。

【讨论】:

    【解决方案2】:

    不确定您的 GPU 是否受支持,但现在(2020 年第三季度)可以使用 cudfcupy 等库在 GPU 上进行数据操作。

    我刚刚开始走这条路,从我所见的很少,您将不得不做一些“额外”的工作来将结果转换为 Seaborn 可以处理的格式,但是使用 cudf 计算(我假设是 cupy)是更快(到目前为止,我已经看到了 5 到 25 倍的改进,并且阅读了更极端的情况)。

    不过,您将不得不编写更多代码...

    【讨论】:

      【解决方案3】:

      是的,你完全可以!但只是不适用于 seaborn。

      您可以使用RAPIDS library and ecosystem(cudf 和 GPU 加速可视化库 cuxfilter,它与 holoviews、datashader 和 plot.ly dash api 的连接)。这是 cuxfilter 的快速入门指南:https://docs.rapids.ai/api/cuxfilter/stable/10%20minutes%20to%20cuxfilter.html

      这里是一个带有dash api的cuxfilter博客:https://medium.com/rapids-ai/plotly-census-viz-dashboard-powered-by-rapids-1503b3506652

      本周我们将在 JupyterCon 上做一个教程,如果你有时间看的话。 https://cfp.jupytercon.com/2020/schedule/presentation/242/using-rapids-and-jupyter-to-accelerate-visualization-workflows/

      【讨论】:

      • “我想知道是否有一个通用设置可以应用于 anaconda 框架,这样,我在 anaconda 上运行的任何东西都应该使用 GPU。”
      猜你喜欢
      • 2018-04-13
      • 2019-05-10
      • 2016-05-30
      • 1970-01-01
      • 2022-11-17
      • 1970-01-01
      • 1970-01-01
      • 2018-03-05
      • 2022-01-25
      相关资源
      最近更新 更多