如何减慢生成器对象从 Web 服务获取数据的迭代速度？

Question

我正在使用 Freebase-Python 模块来迭代数百个结果。使用：

results = freebase.mqlreaditer(query, extended=True) 

我得到了一个 Python 生成器，我可以像这样迭代：

for r in results:
   #do stuff, like create new object and save to datastore

mqlreaditer() 一次获取 100 个 JSON 结果。 100 结果中的一个条目是一个短字符串，例如：

result:: {u'type': u'/games/game', u'mid': u'/m/0dgf58f', u'key': 
          {u'namespace': u'/user/pak21/', u'value': u'42617'}}

我在本地遇到错误：

"WARNING  2011-01-29 15:59:48,383 recording.py:365] 
 Full proto too large to save, cleared variables."

不确定发生了什么，但我怀疑它太快了，所以我想减慢迭代速度或将其分解成块。我不确定生成器是如何工作的，或者我的选择是什么。请注意，这是在 Google App Engine 上运行的，因此 Python 依赖项和使用本地应用引擎启动器的怪癖适用。

Answer 1

生成器只是一个看起来像序列的函数，但它一次为您检索一个项目，而不是预先获取整个数据列表，这通常需要更多内存。如果您愿意，这是一个“即时”可迭代的。但是，您无法保证它正在读取或缓存多少数据来执行此操作。有时它很可能已经拥有全部数据——你只是不知道，不看文档或代码。

如果确实是速度问题，那么执行import time 并在循环内添加诸如time.sleep(1.0) 之类的调用每次都会延迟一秒钟：但我怀疑这实际上不是问题所在，也不应该是什么解决方案。也许您的查询正在检索太多数据，或者对象太大？