在 Rails 应用程序中进行自然语言处理的最佳方法是什么？

Question

我有一个 Rails 应用程序。我需要在应用程序中实现自动文本分类算法和可能更多的 NLP 功能。我相信 Ruby 没有像 Python 那样好的 NLP 工具。我正在使用单独的 resque 服务器来处理后台作业。我相信我已经关注了

1. 使用 resque 作业运行 python 脚本
2. 在单独的服务器上运行烧瓶应用程序，该服务器可以与 resque 作业对话，也可以使用处理后的结果自动更新应用程序数据库。
3. 使用this thread中提到的Ruby工具
4. 欢迎提出其他建议

请告诉我最好的方法是什么。有没有类似的工作示例？

Answer 1

几个月前我遇到了同样的问题。经过一些研究和测试，这是我实施的解决方案

运行多个 python 进程一台机器可以容纳多少。并根据需要使用尽可能多的机器。

使用ZeroMQ在网络服务器和运行python进程的机器之间进行通信

不要使用 HTTP 进行通信，因为开销很大，并且与 ZeroMQ 相比会非常慢。您也不需要像使用 HTTP 那样复杂的 ZeroMQ 处理程序

注意只向内部网络公开 ZeroMQ 套接字，否则您需要在每个 python 服务器上设置身份验证

如果不需要任何基于语料库的算法（如词性标注、情感分析等），另一种选择是仅使用众多可用的 NLP API 之一。