Delphi 7中处理海量文本文件数据的最佳解决方案

Question

我有这样的文本文件：

"01","AAA","AAAAA" 
"02","BBB","BBBBB","BBBBBBBB" 
"03","CCC" 
"04","DDD","DDDDD"

我想将此文本文件数据加载到 sybase db 中的临时表中。所以，我需要构建一个程序来逐行读取这个文本文件，直到 eof。如果文本文件很小，则逐行读取的过程很快。但是如果文本文件太大（可以超过500M），逐行读取的过程太慢了。我认为逐行读取方法不适合大型文本文件。因此，需要找到其他解决方案将文本文件数据加载到 db 中，而不是逐行读取文本文件的方法。有什么建议吗？ 示例代码：

var
  myFile : TextFile;
  text   : string;

begin
  // Try to open the Test.txt file for writing to
  AssignFile(myFile, 'Test.txt');

  // Display the file contents
  while not Eof(myFile) do
  begin
    ReadLn(myFile, text);
    TempTable.append;
    TempTable.FieldByName('Field1').asstring=Copy(text,2,2);
    TempTable.FieldByName('Field2').asstring=Copy(text,7,3);
    TempTable.FieldByName('Field3').asstring=Copy(text,13,5);
    TempTable.FieldByName('Field4').asstring=Copy(text,21,8);
    TempTable.post;
  end;

  // Close the file for the last time
  CloseFile(myFile);
end;

Answer 1

一些一般提示：

• 确保您的 TempTable 在内存中，或使用快速数据库引擎 - 看看 SQlite3 或其他方式（如 FireBird 嵌入式、NexusDB 或 ElevateDB）作为可能的数据库替代方案；
• 如果您不使用TTable，而是使用真正的数据库，请确保将插入嵌套在事务中；
• 对于真正的数据库，请检查您是否不能使用 ArrayDML 功能，该功能可以更快地在远程数据库（如 Sybase）中插入大量数据 - such Array DML is handled for instance with FireDAC AFAIK；
• 已知FieldByName('...') 方法非常慢：改用本地变量TField；
• 使用 TextFile 时，分配更大的临时缓冲区；
• 如果您使用的是较新的 Unicode 版本的 Delphi (2009+)，则使用 TextFile 不是最佳选择。

所以你的代码可能是：

var
  myFile : TextFile;
  myFileBuffer: array[word] of byte;
  text   : string;
  Field1, Field2, Field3, Field4: TField;
begin

  // Set Field* local variables for speed within the main loop
  Field1 := TempTable.FieldByName('Field1');
  Field2 := TempTable.FieldByName('Field2');
  Field3 := TempTable.FieldByName('Field3');
  Field4 := TempTable.FieldByName('Field4');

  // Try to open the Test.txt file for writing to
  AssignFile(myFile, 'Test.txt');
  SetTextBuf(myFile, myFileBuffer); // use 64 KB read buffer

  // Display the file contents
  while not Eof(myFile) do
  begin
    ReadLn(myFile, text);
    TempTable.append;
    Field1.asInteger := StrToInt(Copy(text,2,2));
    Field2.asString := Copy(text,7,3);
    Field3.asString := Copy(text,13,5);
    Field4.asString := Copy(text,21,8);
    TempTable.post;
  end;

  // Close the file for the last time
  CloseFile(myFile);
end;

您可以使用嵌入式引擎实现非常高的速度，几乎没有大小限制，但您的存储空间。例如，参见how fast we can add content to a SQLite3 database in our ORM：数据库文件中每秒大约 130,000 / 150,000 行，包括所有 ORM 编组。我还发现 SQLite3 生成的数据库文件比其他方法小得多。如果您想快速检索任何字段，请不要忘记在您的数据库中定义 INDEXes，如果可能在插入行数据之后（以提高速度）。对于SQLite3，我想已经有一个ID/RowID 整数主键可用，它映射您的第一个数据字段。这个ID/RowID 整数主键已经被SQLite3 索引了。顺便说一句，我们的 ORM 现在支持FireDAC / AnyDAC and its advanced Array DML feature。

Answer 2

文本文件通常有一个非常小的缓冲区。考虑使用SetTextBuf function 来提高您的性能。

var
  myFile : TextFile;
  text   : string;
  myFileBuffer: Array[1..32768] of byte;
begin
// Try to open the Test.txt file for writing to
  AssignFile(myFile, 'Test.txt');
  SetTextBuf(MyFile, myFileBuffer);
  Reset(MyFile);

// Display the file contents
  while not Eof(myFile) do
    begin
      ReadLn(myFile, text);
    end;

// Close the file for the last time
  CloseFile(myFile);
end;

Answer 3

除了已经说过的，我也会避免使用任何 TTable 组件。您最好使用 TQuery 类型的组件（取决于您使用的访问层）。像这样的东西：-

qryImport.SQL := 'Insert Into MyTable Values (:Field1, :Field2, :Field3, :Field4);';

Procedure ImportRecord(Const pField1, pField2, pField3, pField4 : String);
Begin
  qryImport.Close;
  qryImport.Params[0].AsString := pField1;      
  qryImport.Params[1].AsString := pField2;`
  qryImport.Params[2].AsString := pField3;
  qryImport.Params[3].AsString := pField4;
  qryImport.ExecSQL;
End;

希望这会有所帮助。

Answer 4

另一种方法是使用内存映射文件（您可以 google 或访问 torry.net 来查找实现）。它不适用于> 1gb的文件（在win32中，在win64中，您几乎可以映射任何文件）。它会将您的所有文件转换为PAnsiChar，您可以像一个大缓冲区一样进行扫描，搜索#10 和#13（单独或成对）并手动拆分字符串。

Answer 5

如果您使用（或不介意开始使用）JEDI Jvcl，他们有一个TJvCSVDataSet，它允许您像 Delphi 中的任何其他数据集一样简单地使用您的 CSV 文件，包括能够定义持久字段并使用“标准”Delphi 数据库功能：

JvCSVDataSet1.FileName := 'MyFile.csv';
JvCSVDataSet1.Open;
while not JvCSVDataSet1.Eof do
begin
  TempTable.Append; // Posts last appended row automatically;
                    // no need to call Post here.

  // Assumes TempTable has same # of fields in the
  // same order
  for i := 0 to JvCSVDataSet1.FieldCount - 1 do
    TempTable.Fields[i].AsString := JvCSVDataSet1.Fields[i].AsString;
  JvCSVDataSet1.Next;  
end;

// Post the last row appended when the loop above exited
if TempTable.State in dsEditModes then
  TempTable.Post;

Answer 6

在 Delphi 7 中，您可以使用 Turbo Power SysTools TStAnsiTextStream() 以面向行的方式读取和写入，但使用线程安全的 TStream 实现而不是不安全的旧 pascal 文件接口。在以后的 Delphi 版本中，您会在标准 RTL 中找到类似的东西（尽管它们的实现略有不同），但 Delphi 7 并没有提供太多的文本文件操作。