【问题标题】:Does Gensim library support GPU acceleration?Gensim 库是否支持 GPU 加速?
【发布时间】:2016-09-18 14:20:48
【问题描述】:

使用 Gensim 提供的 Word2vec 和 Doc2vec 方法,他们有一个分布式版本,使用 BLAS、ATLAS 等来加速(详情here)。但是,它是否支持 GPU 模式?如果使用 Gensim,是否可以让 GPU 工作?

【问题讨论】:

  • BLAS 不使用 GPU,但是有一个由 NVIDIA 开发的 GPU 版本,叫做 cuBLAS

标签: optimization gpu gensim deeplearning4j


【解决方案1】:

感谢您的提问。使用 GPU 在 Gensim 路线图上。将不胜感激您对此的任何意见。

@niitsuma 在 keras 上运行了一个 word2vec 版本,名为 word2veckeras。 在最新 Keras 版本上运行的代码在这个 fork 和分支中 https://github.com/SimonPavlik/word2vec-keras-in-gensim/tree/keras106

@SimonPavlik 已对此代码进行了性能测试。他发现对于 word2vec,单个 gpu 比多个 CPU 慢。

问候 列弗

【讨论】:

  • 嗨列夫,感谢您的链接!很高兴知道有一个 Keras 版本(尽管我想它仍在使用 Gensim)。也许我也可以搜索其他 word2vec/doc2vec 版本。无论如何,期待 GPU Gensim :D 谢谢艾​​琳
  • 嗨@Lev 这个目前的状态是什么?这应该带来什么样的性能改进?
  • Here 是问题:Word2vec 使用 GPU
  • 我们需要考虑可重现结果的相关性。使用 FastText 可以只使用一个线程。我相信 Keras 也有同样的问题。但是使用 Pytorch 可以重现设置 torch.manual_seed(seed) 完全相同的训练过程。此命令将影响所有设备(CPU 或 GPU),但某些命令可以插入随机行为pytorch.org/docs/stable/notes/randomness.html
  • 注意:不幸的是,Gensim 没有计划实现 GPU 支持。见here
猜你喜欢
  • 2015-10-04
  • 2020-12-08
  • 1970-01-01
  • 2021-10-13
  • 1970-01-01
  • 2012-08-23
  • 2021-09-28
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多