Files.lines 在 Java8 中跳过断行

Question

我正在使用 Files.lines(...) 读取一个非常大 (500mb) 的文件。 它读取文件的一部分，但在某些时候它会因 java.io.UncheckedIOException: java.nio.charset.MalformedInputException: Input length = 1

而中断

我认为该文件有不同字符集的行。有没有办法跳过这些断线？我知道返回的流由 Reader 支持，并且我知道如何跳过 Reader，但不知道如何从流中获取 Reader 以按照我的喜好进行设置。

    List<String> lines = new ArrayList<>();
    try (Stream<String> stream = Files.lines(Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI()), Charset.forName("UTF-8"))) {
        stream
            .filter(s -> s.substring(0, 2).equalsIgnoreCase("aa"))
            .forEach(lines::add);
    } catch (final IOException e) {
        // catch
    }

Answer 1

当预配置的解码器已经异常停止解码时，您无法过滤在解码后包含无效字符的行。您必须手动配置 CharsetDecoder 以告诉它忽略无效输入或用特殊字符替换该输入。

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder()
                  .onMalformedInput(CodingErrorAction.IGNORE);
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI());
List<String> lines;
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1);
    BufferedReader br=new BufferedReader(r)) {
        lines=br.lines()
                .filter(s -> s.regionMatches(true, 0, "aa", 0, 2))
                .collect(Collectors.toList());
}

这只是忽略字符集解码错误，跳过字符。要跳过包含错误的整行，您可以让解码器为错误插入替换字符（默认为 '\ufffd'）并过滤掉包含该字符的行：

CharsetDecoder dec=StandardCharsets.UTF_8.newDecoder()
                  .onMalformedInput(CodingErrorAction.REPLACE);
Path path=Paths.get(getClass().getClassLoader().getResource("bigtest.txt").toURI());
List<String> lines;
try(Reader r=Channels.newReader(FileChannel.open(path), dec, -1);
    BufferedReader br=new BufferedReader(r)) {
        lines=br.lines()
                .filter(s->!s.contains(dec.replacement()))
                .filter(s -> s.regionMatches(true, 0, "aa", 0, 2))
                .collect(Collectors.toList());
}

Answer 2

在这种情况下，使用 Streams API 时，解决方案将变得复杂且更容易出错。我建议只使用普通的 for 循环从 BufferedReader 读取，然后捕获 MalformedInputException。这也可以区分其他 IO 异常的捕获：

List<String> lines = new ArrayList<>();

try (BufferedReader r = new BufferedReader(path,StandardCharsets.UTF_8)){
     try{
          String line = null;
          while((line=r.readLine())!=null){
               if(line.substring(0, 2).equalsIgnoreCase("aa")){
                    lines.add(line);
                }
     }catch(MalformedInputException mie){
           // ignore or do something
     }
}