在二进制流上实现 ReadLine() 的最有效方法是什么？

Question

如果我在任何时候错了，请随时纠正我......

我正在尝试使用 .NET 文件 I/O 类读取 CSV（逗号分隔值）文件。现在的问题是，这个 CSV 文件可能在某些字段和标准文本模式中包含一些带有软回车的字段（即单独的 \r 或 \n 标记，而不是文本文件中用于结束一行的标准 \r\n） I/O 类 StreamReader 不遵守标准约定，将软回车视为硬回车，从而损害 CSV 文件的完整性。

现在使用 BinaryReader 类似乎是唯一的选择，但 BinaryReader 没有 ReadLine() 函数，因此需要我自己实现 ReadLine()。

我当前的方法一次从流中读取一个字符并填充 StringBuilder 直到获得 \r\n（忽略所有其他字符，包括单独的 \r 或 \n），然后返回 StringBuilder 的字符串表示（使用 ToString())。

但我想知道：这是实现 ReadLine() 函数的最有效方式吗？请赐教。

Answer 1

大概是这样。就顺序而言，它只通过每个 char 一次，所以它是 O(n) （其中 n 是流的长度），所以这不是问题。要读取单个字符，最好使用 BinaryReader。

我要做的就是上课

public class LineReader : IDisposable
{
    private Stream stream;
    private BinaryReader reader;

    public LineReader(Stream stream) { reader = new BinaryReader(stream); }

    public string ReadLine()
    {
        StringBuilder result = new StringBuilder();
        char lastChar = reader.ReadChar();
        // an EndOfStreamException here would propogate to the caller

        try
        {
            char newChar = reader.ReadChar();
            if (lastChar == '\r' && newChar == '\n')
                return result.ToString();

            result.Append(lastChar);
            lastChar = newChar;
        }
        catch (EndOfStreamException)
        {
            result.Append(lastChar);
            return result.ToString();
        }
    }

    public void Dispose()
    {
        reader.Close();
    }
}

或者类似的东西。

（警告：代码未经测试，按原样提供，不提供任何形式的明示或暗示保证。如果该程序证明有缺陷或破坏地球，您将承担所有必要的服务、修理或更正的费用。）子>

Answer 2

您可能希望查看使用 ODBC/OleDB 连接来执行此操作。如果将 oledb 连接的数据源指向包含 csv 文件的目录，则可以像每个 CSV 是一个表一样查询它。
检查 http://www.connectionstrings.com/?carrier=textfile>connectionstrings.com 以获取正确的连接字符串

Answer 3

这里是 BinaryReader 类的扩展方法：

using System.IO;
using System.Text;

public static class BinaryReaderExtension
{
    public static string ReadLine(this BinaryReader reader)
    {
        if (reader.IsEndOfStream())
            return null;

        StringBuilder result = new StringBuilder();
        char character;
        while(!reader.IsEndOfStream() && (character = reader.ReadChar()) != '\n')
            if (character != '\r' && character != '\n')
                result.Append(character);

        return result.ToString();
    }

    public static bool IsEndOfStream(this BinaryReader reader)
    {
        return reader.BaseStream.Position == reader.BaseStream.Length; 
    }
}

我没有在所有条件下都进行测试，但这段代码对我有用。

Answer 4

简单地预处理文件怎么样？

用独特的东西替换软回车。

作为记录，数据中带有换行符的 CSV 文件，这是糟糕的设计。

Answer 5

您可以一次读取更大的块，使用 Encoder.GetString 将其解编码为字符串，然后使用 string.Split("\r\n") 分割成行，甚至使用 string 取出字符串的头部.Substring(0,string.IndexOf("\r\n")) 剩下的留给下一行的处理。请记住将下一个读取操作添加到上一次读取的最后一行。

Answer 6

你的方法听起来不错。提高方法效率的一种方法可能是将每一行存储在常规字符串中（即不是 StringBuilder），然后将整行字符串附加到 StringBuilder。请参阅this article 以获得进一步的解释 - StringBuilder 并不是这里的最佳选择。

不过，这可能无关紧要。

Answer 7

这里有一个更快的编码支持替代方案。它扩展了 BinaryReader，因此您可以同时使用它来读取二进制块，也可以像 ReadLine 一样直接在二进制流上执行 StreamReader。

public class LineReader : BinaryReader
{
    private Encoding _encoding;
    private Decoder _decoder;

    const int bufferSize = 1024;
    private char[] _LineBuffer = new char[bufferSize];

    public LineReader(Stream stream, int bufferSize, Encoding encoding)
        : base(stream, encoding)
    {
        this._encoding = encoding;
        this._decoder = encoding.GetDecoder();
    }

    public string ReadLine()
    {
        int pos = 0;

        char[] buf = new char[2];

        StringBuilder stringBuffer = null;
        bool lineEndFound = false;

        while(base.Read(buf, 0, 2) > 0)
        {
            if (buf[1] == '\r')
            {
                // grab buf[0]
                this._LineBuffer[pos++] = buf[0];
                // get the '\n'
                char ch = base.ReadChar();
                Debug.Assert(ch == '\n');

                lineEndFound = true;
            }
            else if (buf[0] == '\r')
            {
                lineEndFound = true;
            }                    
            else
            {
                this._LineBuffer[pos] = buf[0];
                this._LineBuffer[pos+1] = buf[1];
                pos += 2;

                if (pos >= bufferSize)
                {
                    stringBuffer = new StringBuilder(bufferSize + 80);
                    stringBuffer.Append(this._LineBuffer, 0, bufferSize);
                    pos = 0;
                }
            }

            if (lineEndFound)
            {
                if (stringBuffer == null)
                {
                    if (pos > 0)
                        return new string(this._LineBuffer, 0, pos);
                    else
                        return string.Empty;
                }
                else
                {
                    if (pos > 0)
                        stringBuffer.Append(this._LineBuffer, 0, pos);
                    return stringBuffer.ToString();
                }
            }
        }

        if (stringBuffer != null)
        {
            if (pos > 0)
                stringBuffer.Append(this._LineBuffer, 0, pos);
            return stringBuffer.ToString();
        }
        else
        {
            if (pos > 0)
                return new string(this._LineBuffer, 0, pos);
            else
                return null;
        }
    }

}