【问题标题】:Get names of field schema from Pig从 Pig 获取字段模式的名称
【发布时间】:2010-12-16 22:22:43
【问题描述】:

我正在为 Pig 开发 JsonStorage。一切正常,但至少我需要从 pig 架构中获取字段的名称(即 crdate、name、position)。

| A | crdate: bytearray | name: bytearray | positions: bytearray |

实际上,我通过 StoreFunc 扩展了我的类,它不提供获取字段名称的功能。

public class PigJsonStorage extends StoreFunc { .. }

谁能帮帮我:)

【问题讨论】:

    标签: java schema hadoop apache-pig


    【解决方案1】:

    免责声明:我对猪自己有点陌生,还没有实现存储类。

    在我看来,StoreFunc 有一个方法:StoreFunc.checkSchema(ResourceSchema s)。我认为您可以从中捕获架构以在写入期间使用。

    【讨论】:

      【解决方案2】:

      有一个类 JsonMetadata 返回 ResourceSchema,它有一个返回字段数组的方法。

      【讨论】:

      • 如我所见,getSchema 告诉我加载数据的架构,但我在处理 MapReduce 期间生成了新字段。所以我需要在元组存储到文件系统之前的模式:)
      猜你喜欢
      • 2011-03-10
      • 2018-06-11
      • 2013-05-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-02-03
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多