【问题标题】:Customizing InputFormat in Hadoop在 Hadoop 中自定义 InputFormat
【发布时间】:2012-07-27 14:34:08
【问题描述】:

我正在尝试从一个非常大的数据库中读取数据,该数据库由地理参考的时间序列数据组成。所以我有以下格式的文件:

纬度、经度、value@time1、value@time2、....value@timeN。

所以这是整个地球的数据。 现在,对于我的工作,我需要将纬度、经度作为键,将时间序列值作为值。 据我所知,Hadoop 有 KeyValueInputFormat,但它认为第一个选项卡是分隔符。 有没有办法自定义它?我需要一个解决方案。

【问题讨论】:

    标签: hadoop customization key-value


    【解决方案1】:

    玩弄

    key.value.separator.in.input.line
    

    在作业配置中。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-10-29
    • 2011-12-03
    • 1970-01-01
    • 2022-11-14
    • 1970-01-01
    • 2014-03-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多