【问题标题】:Interpreting Cascading dot diagrams解释级联点图
【发布时间】:2013-03-22 13:53:36
【问题描述】:

有人可以解释如何阅读这些图表吗?我了解从头到尾的流程,但我特别想知道如何读取椭圆(管道/水龙头)之间的字段(括号)转换。

通过使用图像中每个管道之后的字段的示例,我能够解释这些的方式是第一个字段集,即 [{2}:'token', 'count'] 是进入的下一个 Pipe/Tap,但第二个字段集 [{1}: 'token'] 的意义是什么?

这是进入上一个管道的字段集吗?第二个括号是否具有编程意义,即我们是否能够使用特定的级联代码在该管道中访问它? (在第二个Fields集合大于第一个的情况下)


(来源:cascading.org

【问题讨论】:

  • 这里有一个更能说明这些图表的示例:cascading.org/multitool
  • 感谢它帮助我理解了图表的其他方面。我认为字段值可能与他们在图表上的 (kx, Vx) 和 (Kx list(Vx)) 描述有关,但我很难将它应用到我上面的理解中。

标签: hadoop cascading


【解决方案1】:

第二个字段集表示哪些字段可用于该 map 或 reduce 中的后续操作。

在上面的示例中,在 reduce 步骤中,由于您按“token”分组,因此在该 reduce 步骤中,只有“token”可用于后续聚合(Everys)。例如,您可以添加另一个输出平均令牌长度的聚合,但您还不能使用使用“计数”的聚合。

这种行为的原因是同一组上的后续聚合并行发生。因此, Count 不会完成以馈入您链接的任何其他聚合。

【讨论】:

  • 这有点道理:您是否将第一个字段集(第一个括号)定义为可用于 Tap 输出的字段,而将第二个字段集定义为可用于下一个操作的字段?如果是这种情况,请更新您的答案并提供您拥有的任何参考资料。
猜你喜欢
  • 1970-01-01
  • 2011-03-30
  • 2014-05-05
  • 1970-01-01
  • 1970-01-01
  • 2011-01-28
  • 1970-01-01
  • 1970-01-01
  • 2010-10-13
相关资源
最近更新 更多