【问题标题】:How to set objects in Hadoop configuration如何在 Hadoop 配置中设置对象
【发布时间】:2013-12-30 04:42:11
【问题描述】:

我正在尝试在Configuration 中设置一个对象

conf.set("test",myobject)

但它不存在。

如何在Configuration 中设置一个对象并在Mapper 中检索相同的对象值?

【问题讨论】:

    标签: java hadoop mapreduce hdfs


    【解决方案1】:

    您不能直接在 hadoop 配置中设置对象。您需要将对象序列化,将其转换为字符串,然后将其设置在 hadoop 配置对象中。只有这样,您才能使其可供映射器使用。

    这里已经讨论过这个自定义配置。custom hadoop configuration

    【讨论】:

    • Ok satya 为了访问该对象值,我们需要反序列化回对象。因为我需要将值作为同一个对象返回而不是作为字符串。其实我之前通过那个链接..但没有完全理解:(
    猜你喜欢
    • 2015-05-04
    • 2012-12-02
    • 1970-01-01
    • 2022-12-17
    • 1970-01-01
    • 2013-11-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多