XML 中的无效十六进制字符

Question

我有一个包含无效十六进制字符的 XML。我已阅读 this、this 和 this 以及任何其他链接，但未能成功。

我正在使用 XmlReader - XmlDocument、XDocument 和 XmlTextReader 不是我的选择，因为有超过 500GB 大小和 5 亿容量的 XML 文件。 XMLReader 是我的最佳选择，因为它采用“前向”方法，并且不会将所有 XML 详细信息加载到内存中。此外，正因为如此，我不能重新创建或加载 XML 文件来替换无效字符。

这是我正在处理的代码：

case XmlNodeType.Element:
if (xmlReader.Name.Equals("ROW"))
{
    DataRow dataRow = xmlDataTable.NewRow();
    XmlReader row = XmlReader.Create(xmlReader.ReadSubtree(), new XmlReaderSettings { CheckCharacters = false
                                                                            , ValidationType = ValidationType.None });

    // iterate on elements inside ROW
    // these are the column items
    if (row != null)
    {
        while (row.Read())
        {

            if (row.IsStartElement())
            {

                if (!row.Name.Equals("ROW"))
                {

                    string columnName = row.Name;
                    //row = XmlReader.Create(CleanInvalidXmlChars(row.ReadInnerXml()));

                    row.Read();
                    string value = CleanInvalidXmlChars(row.Value.ToString());

                    // all other logics ...

row.Read(); 语句引发异常。这是我正在阅读的示例 XML 文件：

<?xml version="1.0" encoding="UTF-8"?>
<MFAINSBRP>
<ROW>
    <INSTITUTION_CODE>828  </INSTITUTION_CODE>
    <BRANCH_CODE>GJ102</BRANCH_CODE>
    <BRANCH_NAME>                                   </BRANCH_NAME>
    <BRANCH_NAME_FRENCH>                                   </BRANCH_NAME_FRENCH>
    <LANGUAGE_CODE>E</LANGUAGE_CODE>
    <ADDR_NO>815412</ADDR_NO>
    <FAX_AREA>0</FAX_AREA>
    <FAX_PHONE>0</FAX_PHONE>
    <AREA_CODE>0</AREA_CODE>
    <PHONE_NO>0</PHONE_NO>
    <STATUS>A</STATUS>
    <PHONE_EXT>0</PHONE_EXT>
</ROW>
<!--ALL OTHER RECORDS-->
</MFAINSBRP>

现在，我坚持做这项工作。

编辑：

示例 XML 文件是使我的代码中断的记录。我从 Notepad++ 复制粘贴在这里，但它没有显示无效字符。这是它在 Notepad++ 中的样子：

我如何创建xmlReader 对象就是这个简单的语句：

using (xmlReader = XmlReader.Create(filePath, new XmlReaderSettings { CheckCharacters = false }))

Answer 1

我不清楚为什么 CheckCharacters = false 没有为您解决问题，正如我所提到的，远远更好的解决方法是以干净的方式开始获取数据与。

但是，您可以通过用 XmlReader 使用的 TextReader 中的替换替换每个无效字符来解决此问题。这是一个简短但完整的示例：

using System;
using System.IO;
using System.Xml;

class Test
{
    static void Main()
    {
        var text = "<foo>\0</foo>";
        var reader = XmlReader.Create(
             new XmlReplacingReader(new StringReader(text), ' '));
        while (reader.Read())
        {
            Console.WriteLine(reader.NodeType);
        }
    }
}

public sealed class XmlReplacingReader : TextReader
{
    private readonly TextReader original;
    private readonly char replacementChar;

    public XmlReplacingReader(TextReader original, char replacementChar)
    {
        this.original = original;
        this.replacementChar = replacementChar;
    }

    override public int Peek()
    {
        int ret = original.Peek();
        return MaybeReplace(ret);
    }

    override public int Read()
    {
        int ret = original.Read();
        return MaybeReplace(ret);        
    }

    override public int Read(char[] buffer, int index, int count)
    {
        int ret = original.Read(buffer, index, count);
        for (int i = 0; i < ret; i++)
        {
            buffer[i + index] = MaybeReplace(buffer[i + index]);
        }
        return ret;
    }

    protected override void Dispose(bool disposing)
    {
        if (disposing)
        {
            original.Dispose();
        }
    }

    public override void Close()
    {
        original.Close();
    }

    private int MaybeReplace(int x)
    {
        return x < 0 ? x : MaybeReplace((char) x);
    }

    private char MaybeReplace(char c)
    {
        return (c >= ' ' || c == '\r' || c == '\n' || c == '\t') ? c : replacementChar;
    }
}

当然，这依赖于您能够为文件创建TextReader - 如果您知道编码，您可以使用File.OpenText 执行此操作。如果您需要处理其他编码，您可能需要更巧妙的解决方案，但这应该可以帮助您入门。

请注意，这种方法替换无效字符。如果你想删除它们，它会变得更难并且可能效率更低，因为批量 Read 方法需要确定它是否需要删除字符，执行删除，然后返回不同的值。代码会更棘手 - 我希望你不需要它。