【问题标题】:Accessing HDFS from Pig UDF从 Pig UDF 访问 HDFS
【发布时间】:2013-09-13 20:49:22
【问题描述】:

我有一个 Pig Java UDF,我正在尝试访问文件系统以将一组文件读入 HashMap。但是,当我在构造函数或稍后执行的方法体中调用UDFContext.getUDFContext().getJobConf() 时,我得到null 作为输出。从 EvalFunc 中获取作业配置的正确格式是什么?

【问题讨论】:

  • 你能分享一些代码吗? JobConf 仅在后端可用(在方法内部调用 EvalFunc.exec()、LoadFunc.getNext())
  • 我也有同样的问题。你解决了吗?

标签: java hadoop apache-pig user-defined-functions


【解决方案1】:

您是否正在使用@MonitoredUDF?就我而言,我能够通过从类中删除注释来解决问题。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-12-04
    • 2013-05-31
    • 2015-12-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多