将 yield 与多个 ndb.get_multi_async 一起使用

Question

我正在尝试提高来自 appengine 数据存储区的当前查询的效率。目前，我使用的是同步方法：

class Hospital(ndb.Model):
      name = ndb.StringProperty()
      buildings= ndb.KeyProperty(kind=Building,repeated=True)
class Building(ndb.Model):
      name = ndb.StringProperty()
      rooms= ndb.KeyProperty(kind=Room,repeated=True)
class Room(ndb.Model):
      name = ndb.StringProperty()
      beds = ndb.KeyProperty(kind=Bed,repeated=True)
class Bed(ndb.Model):
      name = ndb.StringProperty()
      .....

目前我正在愚蠢地经历：

currhosp = ndb.Key(urlsafe=valid_hosp_key).get()
nbuilds = ndb.get_multi(currhosp.buildings)
for b in nbuilds:
   rms = ndb.get_multi(b.rooms)
   for r in rms:
      bds = ndb.get_multi(r.beds)
      for b in bds:
          do something with b object

我想使用 get_multi_async 将其转换为更快的查询

我的困难在于如何做到这一点？ 有什么想法吗？

最好的 乔恩

Answer 1

使用上面给定的结构是可能的，并且已确认您可以使用一组 tasklet 解决此问题。这是迭代方法的显着加速。

@ndb.tasklet
def get_bed_info(bed_key):
    bed_info = {}
    bed = yield bed_key.get_async()
    format and store bed information into bed_info
    raise ndb.Return(bed_info)

@nbd.tasklet
def get_room_info(room_key):
    room_info = {}
    room = yield room_key.get_async()
    beds = yield map(get_bed_info,room.beds)
    store room info in room_info
    room_info["beds"] = beds
    raise ndb.Return(room_info)

@ndb.tasklet
def get_building_info(build_key):
    build_info = {}
    building = yield build_key.get_async()
    rooms = yield map(get_room_info,building.rooms)
    store building info in build_info
    build_info["rooms"] = rooms
    raise ndb.Return(build_info)

@ndb.toplevel
def get_hospital_buildings(hospital_object):
    buildings = yield map(get_building_info,hospital_object.buildings)
    raise ndb.Return(buildings)

现在来自具有医院对象 (hosp) 的医院函数的主要调用。

hosp_info = {}
buildings = get_hospital_buildings(hospital_obj)
store hospital info in hosp_info
hosp_info["buildings"] = buildings
return hosp_info

给你！它非常高效，可以让计划以尽可能快的方式在 GAE 主干中完成所有信息。

Answer 2

你可以用 query.map() 做一些事情。见https://developers.google.com/appengine/docs/python/ndb/async#tasklets和https://developers.google.com/appengine/docs/python/ndb/queryclass#Query_map

Answer 3

这是不可能的。 您的第二个查询 (ndb.get_multi(b.rooms)) 取决于您的第一个查询的结果。 所以拉它异步dosnt工作，因为此时第一个查询的（第一个）结果无论如何都必须可用。 NDB 在后台执行类似的操作（在您处理第一个结果时，它已经缓冲了 ndb.get_multi(currhosp.buildings) 的下一项）。 但是，您可以使用非规范化，即保留一个大表，每个 Building-Room-Bed 对有一个条目，然后从该表中提取结果。 如果您对该表的读取次数多于写入次数，这将大大提高您的速度（读取 1 个 DB，而不是 3 个）。