Java 9 takeWhile 和 dropWhile 读取和跳过某些行

Question

我有一个包含多个报告的文本文件。每个报告都以文字“报告 ID”开头，并具有特定值，即 ABCD。 对于简单的情况，我只想提取那些具有 ABCD 值的报告的数据。并且为了复杂性，我只想提取那些 TAG1 值（第 2 行）为 1000375351 且报告值与 ABCD 相同的报告的数据。

我已经用传统方式完成了。我的 decideAndExtract(String line) 函数具有所需的逻辑。但是如何使用 Java 9 流的 takeWhile 和 dropWhile 方法来有效地处理呢？

try (Stream<String> lines = Files.lines(filePath)) {
    lines.forEach(this::decideAndExtract);
}

示例文本文件数据：

REPORT ID: ABCD    
TAG1: 1000375351 PR
DATA1: 7399910002 T
DATA2: 4754400002 B
DATA3     : 1000640
Some Lines Here    
REPORT ID: WXYZ    
TAG1: 1000375351 PR
DATA1: 7399910002 T
DATA2: 4754400002 B
DATA3     : 1000640
Some Lines Here    
REPORT ID: ABCD    
TAG1: 1000375351 PR
DATA1: 7399910002 T
DATA2: 4754400002 B
DATA3     : 1000640
Some Lines Here

Answer 1

Files.lines 似乎是一种常见的反模式，每当需要对文件使用 Stream 时，无论是否实际需要处理单个行。

当需要对文件进行模式匹配时，您选择的第一个工具应该是Scanner：

Pattern p = Pattern.compile(
    "REPORT ID: ABCD\\s*\\R"
   +"TAG1\\s*:\\s*(.*?)\\R"
   +"DATA1\\s*:\\s*(.*?)\\R"
   +"DATA2\\s*:\\s*(.*?)\\R"
   +"DATA3\\s*:\\s*(.*?)\\R"); // you can keep this in a static final field

try(Scanner sc = new Scanner(filePath, StandardCharsets.UTF_8);
    Stream<MatchResult> st = sc.findAll(p)) {

    st.forEach(mr -> System.out.println("found tag1: " + mr.group(1)
        + ", data: "+String.join(", ", mr.group(2), mr.group(3), mr.group(4))));
}

模式很容易适应，即使用

Pattern p = Pattern.compile(
    "REPORT ID: ABCD\\s*\\R"
   +"TAG1: (1000375351 PR)\\R"
   +"DATA1\\s*:\\s*(.*?)\\R"
   +"DATA2\\s*:\\s*(.*?)\\R"
   +"DATA3\\s*:\\s*(.*?)\\R"); // you can keep this in a static final field

作为满足您更复杂标准的模式。

但您也可以在 Stream 中提供任意过滤条件：

Pattern p = Pattern.compile(
    "REPORT ID: (.*?)\\s*\\R"
   +"TAG1: (.*?)\\R"
   +"DATA1\\s*:\\s*(.*?)\\R"
   +"DATA2\\s*:\\s*(.*?)\\R"
   +"DATA3\\s*:\\s*(.*?)\\R"); // you can keep this in a static final field

try(Scanner sc = new Scanner(filePath, StandardCharsets.UTF_8);
    Stream<MatchResult> st = sc.findAll(p)) {

    st.filter(mr -> mr.group(1).equals("ABCD") && mr.group(2).equals("1000375351 PR"))
      .forEach(mr -> System.out.println(
          "found data: " + String.join(", ", mr.group(3), mr.group(4), mr.group(5))));
}

允许比示例中的equals 调用更复杂的构造。 （请注意，此示例的组号已更改。）

例如，要支持“REPORT ID”之后的数据项的可变顺序，您可以使用

Pattern p = Pattern.compile("REPORT ID: (.*?)\\s*\\R(((TAG1|DATA[1-3])\\s*:.*?\\R){4})");
Pattern nl = Pattern.compile("\\R"), sep = Pattern.compile("\\s*:\\s*");

try(Scanner sc = new Scanner(filePath, StandardCharsets.UTF_8);
    Stream<MatchResult> st = sc.findAll(p)) {

    st.filter(mr -> mr.group(1).equals("ABCD"))
      .map(mr -> nl.splitAsStream(mr.group(2))
          .map(s -> sep.split(s, 2))
          .collect(Collectors.toMap(a -> a[0], a -> a[1])))
      .filter(map -> "1000375351 PR".equals(map.get("TAG1")))
      .forEach(map -> System.out.println("found data: " + map));
}

findAll 在 Java 9 中可用，但如果您必须支持 Java 8，则可以使用 this answer 的 findAll 实现。

Answer 2

dropWhile 和 takeWhile 不会按您期望的方式工作。他们继续删除或处理流的元素，直到 单个元素不再满足条件。

如果您需要检查所有元素的条件并仅选择其中的部分，则应改用Stream.filter。

Answer 3

您可以分两步进行搜索：

首先将所有报告的列表创建为字符串列表。在下面的代码中，使用了一个指示器来拆分报告条目。

String newReportIndicator = "=====";
List<String> reports = Arrays.asList(lines
    .reduce("", (a, l) -> {
      return a +
          ((l.startsWith("REPORT ID: ")) ? newReportIndicator : "") +
          l + System.lineSeparator();
    }).split(newReportIndicator));

然后根据您的条件执行过滤。

过滤的主要方法：

List<String> reportsToFind = reports
    .stream().filter(r -> {
      List<String> list = Arrays.asList(r.split(System.lineSeparator()));
      String header = list.get(0).trim();
      return (header.endsWith("ABCD")
          && list.stream().filter(l ->
          l.startsWith("TAG1:") && l.endsWith("1000375351 PR")
      ).count() == 1
      );
    })
    .collect(Collectors.toList());