【问题标题】:Putting large number of documents: Google App Engine and Search API放置大量文档:Google App Engine 和 Search API
【发布时间】:2014-11-06 14:46:37
【问题描述】:

关于在 Search API 中放置大量文档的限制问题。我打算放 2057 个文件(文本文件中的段落)。当我从文本文件中解析每个段落,为每个段落创建文档并将其放入索引时,应用程序似乎永远运行并且根本没有响应。这种行为的原因是什么?

关于

【问题讨论】:

  • 嗯,日志是怎么说的?
  • 超时了吗?是否将任何内容添加到您的搜索索引中?正如之前的评论者所问 - 日志中是否显示任何内容?你能提供一些代码来显示你到底在做什么吗?
  • @PaulCollingwood,感谢您的回复。我理解导入大量文档索引需要很长时间。
  • 我会删除问题,不过谢谢你
  • 不,不是。我已经有一段时间没有这样做了,但我似乎记得在不合理的时间内导入了 1/4 万份文档。将导入分成块报告每个块的处理

标签: google-app-engine google-search-api


【解决方案1】:

我研究了文档,发现了以下方法:

put(java.lang.Iterable<Document> documents)

我的导入方式是这样的:

1. I collect all documents to be put into index in collector(ArrayList, List) until 200 documents(it's limit by GAE)
2. Put this collector into this method

在我的例子中,它减少了 100 次的推杆时间

【讨论】:

    猜你喜欢
    • 2013-02-21
    • 1970-01-01
    • 2014-08-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-19
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多