多个输出突然不写任何输出？

Question

突然多个输出没有将任何输出写入目标。

我使用多个输出的自定义实现，其中，我只是更改了：

  if((ch == '/') || (ch == ':')||(ch == '-')||(ch =='.'))
      {
          continue;
      } 

在方法中，如下图。但同样的工作一直在工作，突然间它不工作了。它没有向输出目录写入任何内容：

/home/users/mlakshm/

请帮忙！！！

 private static void checkTokenName(String namedOutput) {
    if (namedOutput == null || namedOutput.length() == 0) {
      throw new IllegalArgumentException(
        "Name cannot be NULL or emtpy");
    }
    for (char ch : namedOutput.toCharArray()) {
      if ((ch >= 'A') && (ch <= 'Z')) {
        continue;
      }
      if ((ch >= 'a') && (ch <= 'z')) {
        continue;
      }
      if ((ch >= '0') && (ch <= '9')) {
        continue;
      }
      if((ch == '/') || (ch == ':')||(ch == '-')||(ch =='.'))
      {
          continue;
      }
      throw new IllegalArgumentException(
        "Name cannot be have a '" + ch + "' char");
    }
  }

Answer 1

您可能注意到checkTokenName() 的方法是确保输出名称有效。现在，您正在尝试修改您不应该修改的 MultipleOutputs 的非常重要的部分。首先，不允许使用 /、:、. 和 - 等字符的原因有很多：

1. 许多文件系统不允许在文件名中使用其中一些字符
2. 使用 MultipleOutputs，可以写入多个文件，但在指定目录中，而不是在任何所需位置。

3. 您可能已经注意到，对于以下命名输出：

   // 为作业定义附加的基于单个文本的输出“文本” MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, LongWritable.class, Text.class); 输出文件名将是 text-0000、text0001 等。

所以如果你想写在不同的目录，那么最好覆盖MultipleTextOutputFormat；如果您不能随意使用旧 API，那么您最好自己写信给HDFS/S3，而不是依赖 hadoop 来做。