用 Java 读取 CSV 文件的最快方法

Question

我注意到在读取大文件（在我的例子中是 CSV 文件）时使用java.util.Scanner 非常慢。

我想改变我目前读取文件的方式，以提高性能。以下是我目前所拥有的。请注意，我正在为 Android 开发：

InputStreamReader inputStreamReader;
    try {
        inputStreamReader = new InputStreamReader(context.getAssets().open("MyFile.csv"));
        Scanner inputStream = new Scanner(inputStreamReader);
        inputStream.nextLine(); // Ignores the first line
        while (inputStream.hasNext()) {
            String data = inputStream.nextLine(); // Gets a whole line
            String[] line = data.split(","); // Splits the line up into a string array

            if (line.length > 1) {
                // Do stuff, e.g:
                String value = line[1];
            }
        }
        inputStream.close();
    } catch (IOException e) {
        e.printStackTrace();
    }

使用Traceview，我发现主要的性能问题，具体是：java.util.Scanner.nextLine()和java.util.Scanner.hasNext()。

我看过其他问题（例如this one），也遇到过一些CSV 阅读器，例如Apache Commons CSV，但他们似乎没有太多关于如何使用它们的信息，而且我不确定它们会快多少。

我也听说过在this one 之类的答案中使用FileReader 和BufferedReader，但同样，我不知道改进是否会显着。

我的文件长约 30,000 行，使用我目前拥有的代码（上图），从大约 600 行以下读取值至少需要 1 分钟，所以我没有计时需要多长时间读取 2,000 多行以下的值，但有时，在读取信息时，Android 应用会变得无响应并崩溃。

虽然我可以简单地更改部分代码并亲自查看，但我想知道是否有任何我没有提到的更快的替代方案，或者我是否应该只使用FileReader 和BufferedReader。将大文件拆分为较小的文件，并根据我要检索的信息选择读取哪个文件会更快吗？最好，我也想知道为什么最快的方法是最快的（即是什么让它快）。

Answer 1

uniVocity-parsers 拥有您所发现的最快的 CSV 解析器（比 OpenCSV 快 2 倍，比 Apache Commons CSV 快 3 倍），并具有许多独特的功能。

这里有一个简单的例子说明如何使用它：

CsvParserSettings settings = new CsvParserSettings(); // many options here, have a look at the tutorial

CsvParser parser = new CsvParser(settings);

// parses all rows in one go
List<String[]> allRows = parser.parseAll(new FileReader(new File("your/file.csv")));

为了加快处理速度，您可以选择您感兴趣的列：

parserSettings.selectFields("Column X", "Column A", "Column Y");

通常，您应该能够在 2 秒左右解析 400 万行。使用列选择，速度将提高大约 30%。

如果您使用RowProcessor，它会更快。有许多开箱即用的实现来处理对象、POJOS 等的转换。文档解释了所有可用的功能。它的工作原理是这样的：

// let's get the values of all columns using a column processor
ColumnProcessor rowProcessor = new ColumnProcessor();
parserSettings.setRowProcessor(rowProcessor);

//the parse() method will submit all rows to the row processor
parser.parse(new FileReader(new File("/examples/example.csv")));

//get the result from your row processor:
Map<String, List<String>> columnValues = rowProcessor.getColumnValuesAsMapOfNames();

我们还建立了一个简单的速度比较项目here。

Answer 2

您的代码很适合加载大文件。但是，当操作比您预期的要长时，最好在任务中而不是在 UI 线程中执行它，以防止缺乏响应。

AsyncTask 类有助于做到这一点：

private class LoadFilesTask extends AsyncTask<String, Integer, Long> {
    protected Long doInBackground(String... str) {
        long lineNumber = 0;
        InputStreamReader inputStreamReader;
        try {
            inputStreamReader = new
                    InputStreamReader(context.getAssets().open(str[0]));
            Scanner inputStream = new Scanner(inputStreamReader);
            inputStream.nextLine(); // Ignores the first line

            while (inputStream.hasNext()) {
                lineNumber++;
                String data = inputStream.nextLine(); // Gets a whole line
                String[] line = data.split(","); // Splits the line up into a string array

                if (line.length > 1) {
                    // Do stuff, e.g:
                    String value = line[1];
                }
            }
            inputStream.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return lineNumber;
    }

    //If you need to show the progress use this method
    protected void onProgressUpdate(Integer... progress) {
        setYourCustomProgressPercent(progress[0]);
    }

    //This method is triggered at the end of the process, in your case when the loading has finished
    protected void onPostExecute(Long result) {
        showDialog("File Loaded: " + result + " lines");
    }
}

...并执行为：

new LoadFilesTask().execute("MyFile.csv");

Answer 3

您应该改用 BufferedReader：

BufferedReader reader = null;
try {
    reader = new BufferedReader( new InputStreamReader(context.getAssets().open("MyFile.csv"))) ;
    reader.readLine(); // Ignores the first line
    String data;
    while ((data = reader.readLine()) != null) { // Gets a whole line
        String[] line = data.split(","); // Splits the line up into a string array
        if (line.length > 1) {
            // Do stuff, e.g:
            String value = line[1];
        }
    }
} catch (IOException e) {
    e.printStackTrace();
} finally {
    if (reader != null) {
        try {
            reader.close();
        } catch (IOException e) {
            e.printStackTrace();
        } 
    } 
}