使用 ADO Stream 逐行读取大文件？

Question

我想使用 ADO Stream 从本地大文本文件中读取行，使用 UTF-8 编码，所以我尝试

Set objStream = CreateObject("ADODB.Stream")
objStream.Charset = "utf-8"
objStream.Type = 2
objStream.Open
objStream.LoadFromFile = strFile
objStream.LineSeparator = 10
Do Until objStream.EOS
    strLine = objStream.ReadText(-2)
Loop

但是结果是脚本占用了大量的 RAM 和 CPU 使用率。那么有没有办法告诉脚本不要将所有文件内容加载到内存中，而只是打开并读取，直到遇到任何行分隔符？

Answer 1

当您使用Stream 对象时，我认为很明显，但是.LoadFromFile 用整个文件内容填充当前流，并且没有任何自定义选项来从文件加载部分数据。

至于读取 1 行，您已经使用 .ReadText(-2) 完成了此操作，(-2 = adReadLine)。

Set objStream = CreateObject("ADODB.Stream")
objStream.Charset = "utf-8"
objStream.Type = 2
objStream.Open
'objStream.LoadFromFile = strFile ''I see a typo here
objStream.LoadFromFile strFile
objStream.LineSeparator = 10      ''that's Ok
'Do Until objStream.EOS           ''no need this
    strLine = objStream.ReadText(-2)
'Loop
objStream.Close ''add this though!

[编辑]好吧，对于.LineSeparator，您只能使用 3 个常量：

Constant Value Description

adCRLF   -1    Default. Carriage return line feed 
adLF     10    Line feed only 
adCR     13    Carriage return only 

如果您需要将Do..Loop 拆分为其他字母，因为.ReadText 是读取文本流的唯一选择，您可以将它与InStr 函数和Exit Do 结合使用，然后您会找到您的自定义分隔符.

Const cSeparator = "_" 'your custom separator
Dim strLine, strTotal, index
Do Until objStream.EOS
    strLine = objStream.ReadText(-2)
    index = InStr(1, strLine, cSeparator)
    If index <> 0 Then
        strTotal = strTotal & Left(strLine, index-1)
        Exit Do
    Else
        strTotal = strTotal & strLine
    End If
Loop

简而言之，这是您可以做的全部优化（或至少据我所知）。

Answer 2

如果您查看this snippet from J. T. Roff's ADO book，您会发现理论上您可以逐行读取文件（无需将其完全加载到内存中）。我尝试在source参数中使用file:protocol，但没有成功。

所以让我们尝试另一种方法：要将 .txt 文件视为 UTF8 编码的琐碎（一列）ADO 数据库表，您需要在源目录中有一个 schema.ini 文件：

[linesutf8.txt]
ColNameHeader=False
CharacterSet=65001
Format=TabDelimited
Col1=SampleText CHAR WIDTH 100

那么你可以这样做：

  Dim sTDir  : sTDir   = "M:/lib/kurs0705/testdata"
  Dim sFName : sFName  = "[linesutf8.txt]"
  Dim oDb    : Set oDb = CreateObject("ADODB.Connection")
  Dim sCs    : sCs     = Join(Array( _
          "Provider=MSDASQL" _
        , "Driver={Microsoft Text Driver (*.txt; *.csv)}" _
        , "DBQ=" + sTDir _
  ), ";")
  oDb.open sCs
  WScript.Stdin.Readline
  Dim oRs    : Set oRs = oDb.Execute("SELECT * FROM " & sFName)
  WScript.Stdin.Readline
  Do Until oRS.EOF
     WScript.Echo oRS.Fields(0).Value
     oRs.MoveNext
  Loop
  oRs.Close
  oDb.Close

一些背景看here。