【问题标题】:can we use log4j in mapreduce?我们可以在 mapreduce 中使用 log4j 吗?
【发布时间】:2016-09-07 03:15:47
【问题描述】:

我们可以使用log4j登录mapreduce吗?如果是这样,请提供在 map-reduce 中使用 log4j 来记录信息的步骤。我已经编写了以下 log4.properties,但是没有记录任何内容。

【问题讨论】:

    标签: hadoop mapreduce hadoop-streaming hadoop-partitioning


    【解决方案1】:

    这是在 Mapper 中配置 Log4j 的一种简单方法,仅用于

    Standard practices for logging in MapReduce jobs

    这里有sn-p的代码

    导入 org.apache.log4j.Logger; // 其他导入省略

    公共类 SampleMapper 扩展 Mapper { private Logger logger = Logger.getLogger(SampleMapper.class);

    @Override
    protected void setup(Context context) {
        logger.info("Initializing NoSQL Connection.")
        try {
            // logic for connecting to NoSQL - ommitted
        } catch (Exception ex) {
            logger.error(ex.getMessage());
        }
    }
    
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // mapper code ommitted
    }
    

    }

    抱歉格式化。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-11-03
      • 2012-04-22
      • 1970-01-01
      • 2015-10-06
      • 1970-01-01
      • 2018-10-31
      • 2020-03-21
      • 2011-08-21
      相关资源
      最近更新 更多