【发布时间】:2014-10-27 05:10:01
【问题描述】:
我正在使用 Python 代码和 Pysolr 将 SOLR 中的所有文档移动到 elasticsearch。
使用 pysolr 我只能访问 499 个文档,它可以访问整个文档集。
【问题讨论】:
标签: solr elasticsearch pysolr
我正在使用 Python 代码和 Pysolr 将 SOLR 中的所有文档移动到 elasticsearch。
使用 pysolr 我只能访问 499 个文档,它可以访问整个文档集。
【问题讨论】:
标签: solr elasticsearch pysolr
可以使用 pysolr API 中的 offset 和 size 参数以 499 个为一组访问文档,我在更详细地检查了 Pysolr api 后发现了这一点。下面附上示例代码:
limit = 499
offset = 0
while True:
kwargs = {'sort':'id DESC'}
response = source.search(q='projectid:774 AND source:FACEBOOK', start=offset, rows=limit, **kwargs )
print(len(response.docs))
offset = offset + limit
if len(response.docs) == 0:
break
# Do neccessary Operations
pass
【讨论】: