【问题标题】:Mapreduce on Google App EngineGoogle App Engine 上的 Mapreduce
【发布时间】:2013-10-03 15:08:26
【问题描述】:

我对 GAE 中 mapreduce 支持的状态和文档感到非常困惑。

在官方文档https://developers.google.com/appengine/docs/python/dataprocessing/中,有一个例子,但是:

  • 应用程序使用mapreduce.input_readers.BlobstoreZipInputReader,我想使用ma​​preduce.input_readers.DatastoreInputReader。文档中提到了 DatastoreInputReader 的参数,但没有提到 返回值 发送回地图函数....
  • 应用程序“演示”(Helloworld 页面)有一个 ma​​preduce.yaml 文件,应用程序中 未使用 ???

所以我找到了http://code.google.com/p/appengine-mapreduce/。这是一个带有 ma​​preduce.input_readers.DatastoreInputReader 的完整示例,但它写道,reduce 阶段还不支持!

所以我想知道是否可以使用 DatastoreInputReader 实现 mapreduce 的第一种形式,以执行真正的 map/reduce 以获得等效的 GROUP BY?

【问题讨论】:

    标签: python google-app-engine mapreduce


    【解决方案1】:

    第二个例子来自早期版本,它确实只支持映射器阶段。但是,正如第一个示例所示,现在支持完整的 map/reduce 功能并且已经有一段时间了。 mapreduce.yaml 来自那个早期版本,现在不用了。

    我不确定您的实际问题是什么。毫不奇怪,从 DatastoreInputReader 发送到 map 函数的值是从被映射的种类中获取的单个实体。

    【讨论】:

    • 非常感谢,这是我的问题。它现在正在运行。很遗憾,谷歌的官方文档没有提及就指向了一个过时的项目。我试图处理过时的源代码……再次感谢你让我找到了正确的方向。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-04-11
    • 2011-04-09
    • 2013-05-18
    • 2011-10-04
    • 2015-10-01
    • 2010-11-03
    相关资源
    最近更新 更多