如何在 C++ 中使 csv 文件运行得更快

Question

我在 CSV 文件中有一百万个条目，需要加载它。但是，完成加载大约需要 2 分钟。我需要解决这个问题以使数据加载更快。有没有更好的方法可以解决？所以我可以研究并尝试修复它。感谢您的帮助。

CSVReader.h

#pragma once
#include "OrderBookEntry.h"
#include <vector>
#include <string>

class CSVReader
{
public:
CSVReader();
static std::vector<OrderBookEntry> readCSV (std::string csvFile);
};

CSVReader.cpp

#include "CSVReader.h"
#include <iostream>
#include <fstream>

CSVReader::CSVReader() {

}

std::vector<OrderBookEntry> CSVReader::readCSV(std::string csvFilename) {
  std::vector<OrderBookEntry> entries;
  std::ifstream csvFile{csvFilename};
  std::string line;
  if (csvFile.is_open()) 
  {
      while (std::getline(csvFile, line))   
      { 
        
        try {
            OrderBookEntry obe = stringsToOBE(tokenise(line, ','));
            entries.push_back(obe);
        }
        catch(const std::exception& e){
            std::cout << "CSVReader::readCSV bad data" << std::endl;
        }
        
    }//end of while
}
std::cout << "Successfully read " << entries.size() << " entries" << std::endl;
return entries;
}

std::vector<std::string> CSVReader::tokenise(std::string csvLine, char separator) {
   std::vector<std::string>tokens;
   signed int start, end;
   std::string token;
   start = csvLine.find_first_not_of(separator, 0);
   do {
     end = csvLine.find_first_of(separator, start);
     if (start == csvLine.length() || start == end) break;
     if (end >= 0) token = csvLine.substr(start, end - start);
     else token = csvLine.substr(start, csvLine.length() - start);
     tokens.push_back(token);
     start = end + 1;
   } while (end > 0);

   return tokens;
}

OrderBookEntry CSVReader::stringsToOBE(std::vector<std::string>tokens) {
    double price, amount;
     if (tokens.size() != 5) {
        std::cout << "Bad Input" << std::endl;
        throw std::exception{};
    }
    try {
        //we have 5 tokens
        price = std::stod(tokens[3]);
        amount = std::stod(tokens[4]);
    }
    catch(const std::exception& e){
        std::cout << "Bad Float!" << tokens[3] << std::endl;
        std::cout << "Bad Float!" << tokens[4] << std::endl;
        throw;
    }

    OrderBookEntry
    obe{price,amount,tokens[0],tokens[1],OrderBookEntry::stringToOrderBookType(tokens[2])};
    return obe;

 }

Answer 1

正如 cmets 中提到的，首先应该优化的是按值传递参数。即，应该有const std::string& arg_name 而不是std::string arg_name 等。

那么，std::vector 的使用也不是那么理想。这是因为vector 的性质：它连续存储其元素。这意味着如果在某些时候没有内存可以以这种方式（连续地）附加下一个元素，那么所有现有元素都应该重新分配到一个新位置。因此，如果 vector 的使用不是非常需要，请考虑将其替换为 std::list 或其他内容。

然后，我会像这样简化CSVReader::tokenise 方法：

std::list<std::string> CSVReader::tokenise(const std::string& str, char sep)
{
  std::list<string> result;
  std::string::size_type cur = 0;
  for(auto pos = str.find_first_of(sep); pos != string::npos; cur = pos + 1, pos = str.find_first_of(sep, cur))
    result.emplace_back(str, cur, pos - cur);
  result.emplace_back(str, cur);

  return result;
}

然后，我将结合 tokenise 和 stringsToOBE 方法。

一般来说，查看循环中执行的代码。

Answer 2

想想你在解析一行的时候做了什么样的操作，效率低下的原因是什么。

例如，

std::vector<std::string> CSVReader::tokenise(std::string csvLine, char separator)

它通过复制接受csvLine。复制字符串可能会很慢，因为它可能涉及内存分配。

然后你从一个字符串创建一个字符串向量......创建一个std::string_view的向量不是更好吗？所以你不要复制字符串的每个元素。为了使函数更安全，要求标记化也接受 std::string_view 而不是 std::string 或 const std::string&

接下来，通过审核CSVReader::stringsToOBE(std::vector<std::string>tokens)， 显然我看到你实际上需要大小为 5。然后将一些元素解析为浮点数并将一些元素复制为字符串，另一个转换为枚举。

要求输入为std::array<std::string_view,5> 不是更有意义吗？编译时强制大小为 5 而不是测试它？为了适应这种变化，您可以将tokenize 转换为接受数字n 作为模板参数的模板，并根据分隔符将std::string_view 转换为std::array<std::string_view,n>，最后验证它是字符串视图。

由于消除了不必要的std::vector，这节省了另一个动态分配。

但是为什么你从ifstream得到一个字符串然后解析它并分别转换每个元素呢？

为什么不直接从流中直接提取元素而不创建中间字符串呢？说，添加函数OrderBookEntry CSVReader::extractOBEElement(std::istream& stream)？并且只需使用流的原生函数，如>>?

它可能会工作并且效率更高，但众所周知流很慢，因此首先生成字符串可能确实更可取。