使用 contains() java 读取大文件和过滤器

Question

我正在使用 java 中的 BufferedReader 读取大型日志文件。我必须过滤文件的内容并将数据存储在数据库中。 例子。

BufferedReader br=new BufferedReader(new FileReader("test.log"));
String line;
while((line=br.readLine())!=null){
   if(line.contains("filter1") || line.contains("filter2") ||
       line.contains("filter3") || line.contains("filter4")...){
        //creating object and storing using hibernate
    }
}

我有超过 50 个这样的过滤器，并且在读取超过 100 MB 的文件时会出现问题。匹配这些过滤字符串浪费了很多时间。

如果条件是读取的行的子字符串，我不能使用 Collection.contains(line) 作为过滤器。花费的时间不是IO，而是过滤内容和创建对象进行存储。

编辑 1 :- filter1, filter2 只是为了简单起见。在实际情况下，过滤器就像 - “新文件”、“报告”、“从文件夹中删除”、“模式”、“移动”、“复制”、“添加到队列”、“唯一 id”等。这些是我检查该行是否包含用于存储的相关数据的特定关键字。

请提出一个更好的方法来实现同样的目标。

Answer 1

在 Java 8 中，您可以使用 Files.lines 将文件作为流读取。

本示例向您展示如何使用 Stream 过滤内容，将整个内容转换为大写并以 List 形式返回。

c://lines.txt – A simple text file for testing
line1
line2
line3
line4
line5

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;
import java.util.stream.Stream;

public class TestReadFile {

    public static void main(String args[]) {

        String fileName = "c://lines.txt";
        List<String> list = new ArrayList<>();

        try (Stream<String> stream = Files.lines(Paths.get(fileName))) {

            //1. filter line 3
            //2. convert all content to upper case
            //3. convert it into a List
            list = stream
                    .filter(line -> !line.startsWith("line3"))
                    .map(String::toUpperCase)
                    .collect(Collectors.toList());

        } catch (IOException e) {
            e.printStackTrace();
        }

        list.forEach(System.out::println);

    }

}

Answer 2

这取决于您的过滤器的外观。如果真的是filter1、filter2 等，那么你可以使用像

这样的正则表达式

private static final Pattern pattern = Pattern.compile("filter[0-9]");

... // in a loop
if (pattern.matcher(line).matches()) {...}

（你也可以避免分配）。您在这里不需要精确的过滤器，只需排除高概率的不匹配行（并且排除不匹配的行）。

例如，您可以使用 4-gram 或类似的，使用 rolling hash 类似

/// Initialization
Set<Integer> hashesOf4grams = new HashSet<>();
for (String s : filters) {
    if (s.length() < 4) {
        ... do some handling for short strings, omitted here as probably not needed.
    }
    int hash = 0;
    for (int i = 0; i < 4; ++i) {
        hash = (hash << 8) + s.charAt(i);
    }
    hashesOf4grams.add(hash);
}


/// Loop.
for (String line : lines) {
    boolean maybeMatching = false;
    int hash = 0;
    for (int i = 0; i < line.length() && !maybeMatching; ++i) {
       hash = (hash << 8) + line.charAt(i);
       maybeMatching = hashesOf4grams.contains(hash);
    }
    if (!maybeMatching) {
        continue;
    }

    // Slow test.
    boolean surelyMatching = false;
    for (String s : filters) {
        if (line.contains(s)) {
            surelyMatching = true;
            break;
        }
    }
    if (surelyMatching) {...}
}

上面的转换确保只有最后 4 个字符重要。您可以使用一些原始集合来代替Set.contains（带有拳击）。

你可以使用tries...

您也可以使用公共子字符串。您的示例仍然太短，无法提供任何有用的信息，但类似于

private static final Pattern pattern = Pattern.compile("new file|re(port|moved from folder)");

可能比单独测试所有内容更好。我想，尝试应该是最好的，但 N-gram 更简单，可以很好地工作。

在我上面的实现中，我假设所有过滤器的长度至少为 4。

---