SyntaxNet 处理大量句子，GPU 能提高性能吗？答案

【问题标题】：SyntaxNet to process a large number of sentences, do GPUs increase performance?SyntaxNet 处理大量句子，GPU 能提高性能吗？
【发布时间】：2017-09-19 08:49:07
【问题描述】：

我有一个原始文本中的大型句子数据集（即~5.000.000），我想使用已针对英语进行过培训的 SyntaxNet 进行处理。也就是说，我只想使用 SyntaxNet 模型处理句子，我不想训练任何新模型。

使用 GPU 设置处理环境会对性能产生影响吗？

我知道大部分繁重的 CPU 操作都在估计网络/模型的参数和权重，一旦这些估计出来，应用经过训练的网络应该比训练更快。

尽管如此，我以前从未使用过 Tensorflow，而且我不知道在将已经训练好的模型应用于数据时是否使用 GPU。

另外，有谁知道将 SyntaxNet 设置为守护程序或 Web 服务的简单方法，以便轻松进行批处理？

【问题讨论】：

标签： syntax tensorflow nlp gpu

【解决方案1】：

你仍然需要在图上做很多张量操作来预测一些东西。所以 GPU 仍然为推理提供了性能提升。看看这个nvidia paper，他们还没有在TF上测试过他们的东西，但它仍然是相关的：

我们的结果表明，GPU 提供了最先进的推理性能和能源效率，使其成为首选平台对于任何想要在该领域部署训练有素的神经网络的人。在特别是 Titan X 的性能提高了 5.3 到 6.7 倍性能比 16 核 Xeon E5 CPU 同时达到 3.6 到 4.4 能源效率提高 1 倍。

关于如何部署你的模型，看看TF serving

【讨论】：