如何使用 GPU 训练数百万个 doc2vec 嵌入？

Question

我正在尝试根据用户浏览历史（标记为 user_id 的 URL）训练 doc2vec。我使用chainer深度学习框架。

有超过 2000 万个嵌入（user_id 和 url）需要初始化，这些嵌入不适合 GPU 内部存储器（最大可用 12 GB）。 CPU 上的训练非常慢。

我正在尝试使用这里给出的 chainer 编写的代码 https://github.com/monthly-hack/chainer-doc2vec

如果有的话，请建议尝试的选项。

Answer 1

也可以参考chainer官方word2vec的例子。

• https://github.com/chainer/chainer/tree/master/examples/word2vec

您是否已经尝试过使用 GPU 进行训练？通常只将batch size的数据提取到GPU显存中，因此数据总量（20M）不影响GPU显存限制。