在 appengine 中使用较少的数据存储小操作

Question

我正在使用 python 27 在 appengine 上制作一个基本相册。我编写了以下方法来从与特定“冒险”匹配的数据存储中检索图像细节。我使用限制和偏移量进行分页，但是效率很低。浏览 5 页（每页 5 张照片）后，我已经使用了 16% 的 Datastore Small Operations。有趣的是，我只使用了 1% 的数据存储读取操作。我怎样才能使数据存储小型操作更有效 - 我不确定它们是由什么组成的。

def grab_images(adventure, the_offset=0, the_limit = 10):
    logging.info("grab_images")
    the_photos = None
    the_photos = PhotosModel.all().filter("adventure =", adventure)
    total_number_of_photos = the_photos.count()
    all_photos = the_photos.fetch(limit = the_limit, offset = the_offset)
    total_number_of_pages = total_number_of_photos / the_limit
    all_photo_keys = []
    for photo in all_photos:
        all_photo_keys.append(str(photo.blob_key.key()))
    return all_photo_keys, total_number_of_photos, total_number_of_pages

Answer 1

一些事情：

1. 不用每次都调用count，可以缓存
2. 查询也一样，为什么一直在查询？也缓存它。
3. 也要缓存页面，你不应该每次都计算每页的数据。
4. 您只需要 blob_key 但您正在加载整个照片实体，请尝试以不需要加载所有照片属性的方式对其进行建模。

挑剔：你不需要 the_photos = None

Answer 2

处理分页的方式效率低下，因为它会遍历偏移量之前的每条记录以传递数据。您应该考虑使用 Google http://code.google.com/appengine/articles/paging.html 描述的书签方法构建分页机制。

使用此方法，您只需浏览每个页面所需的项目。我还敦促您按照 Shay 的建议正确缓存，这样更快更便宜。

Answer 3

您可能需要考虑迁移到新的 NDB API。它对期货、缓存和自动批处理的使用可能会对您有很大帮助。显式优于隐式，但 NDB 对细节的管理使您的代码更简单、更具可读性。

顺便说一句，您是否尝试使用 appstats 并查看您的请求如何使用服务器资源？