在java中使用buffredReader读取大文件

Question

我知道在 java 中有两种读取大文本文件的方法。一种使用扫描仪，一种使用缓冲读取器。

Scanner reader = new Scanner(new FileInputStream(path));
while (reader.hasNextLine()){
    String tempString = reader.nextLine();
    System.out.println(java.lang.Runtime.getRuntime().totalMemory()/(1024*1024.0));
}

并且要打印的数字总是在某个值附近稳定。

但是，当我根据下面的编辑使用 bufferedReader 时，数字不稳定，它可能会在一行中突然增加（约 20mb），然后在多行（如 8000 行）中保持不变。并且该过程重复。 有谁知道为什么？

更新 我使用 BufferedReader 输入的第二种方法错误，应该是这样的

BufferedReader reader = new BufferedReader
    (new InputStreamReader(new FileInputStream(path)),5*1024*1024);
for(String s = null;(s=reader.readLine())!=null; ){
    System.out.println(java.lang.Runtime.getRuntime().totalMemory()/(1024*1024.0));
}

或者使用while循环

String s;
while ((s=reader.readLine())!=null ){
    System.out.println(java.lang.Runtime.getRuntime().totalMemory()/(1024*1024.0));
}

更具体地说，这里是测试用例读取 250M 文件的结果

扫描仪外壳：

行号---totolmemory
5000---117.0
10000---112.5
15000---109.5
20000---109.5
25000---109.5
30000---109.5
35000---109.5
40000---109.5
45000---109.5
50000---109.5

BufferedReader 案例：

行号---totolmemory
5000---123.0
10000---155.5
15000---155.5
20000---220.5
25000---220.5
30000---220.5
35000---220.5
40000---220.5
45000---220.5
50000---211.0

但是扫描仪很慢，所以我尽量避免它。

我检查了 bufferedReader 的情况，总内存在一个随机行中突然增加。

Answer 1

就其本身而言，扫描仪并不是特别适合大文本文件。

Scanner 和 BufferedReader 没有可比性。您可以在 Scanner 中使用 BufferedInputStream - 然后您将拥有相同的东西，Scanner 添加了更多的“流”读取功能而不仅仅是行。

查看 totalMemory 并不是特别有用。引用 Javadoc：返回 Java 虚拟机中的内存总量。此方法返回的值可能会随时间变化，具体取决于宿主环境。

试试 freeMemory，它更有趣一点，它反映了不时发生的 GC 阶段。

稍后 评论 Scanner 很慢：读取一行只需要扫描行分隔符的字节，这就是 BufferedReader 的工作方式。然而，Scanner 为这项任务启动了 java.util.regex.Matcher（因为它更适合其整体设计）。仅将扫描仪用于读取行数是在折腾。