读取非常大的 .xml.bz2 文件

Question

我想在不提取整个文件或执行任何 XML 验证的情况下解析 Wikimedia 的 .xml.bzip2 转储：

var filename = "enwiki-20160820-pages-articles.xml.bz2";

var settings = new XmlReaderSettings()
{
    ValidationType = ValidationType.None,
    ConformanceLevel = ConformanceLevel.Auto // Fragment ?
};

using (var stream = File.Open(filename, FileMode.Open))
using (var bz2 = new BZip2InputStream(stream))
using (var xml = XmlTextReader.Create(bz2, settings))
{
    xml.ReadToFollowing("page");
    // ...
}

BZip2InputStream 有效 - 如果我使用 StreamReader，我可以逐行读取 XML。但是当我使用XmlTextReader 时，当我尝试执行读取时它会失败：

System.Xml.XmlException: '文件意外结束。以下元素未关闭：mediawiki。第 58 行，位置 1。'

bzip 流在 EOF 时不是。是否可以在 BZip2 流上打开 XmlTextReader？还是有其他方法可以做到这一点？

Answer 1

这应该可行。我使用了 XmlReader 和 Xml Linq 的组合。您可以根据需要解析 XElement 文档。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Xml;
using System.Xml.Linq;


namespace ConsoleApplication29
{
    class Program
    {
        const string URL = @"https://dumps.wikimedia.org/enwiki/20160820/enwiki-20160820-abstract26.xml";
        static void Main(string[] args)
        {
            XmlReader reader = XmlReader.Create(URL);

            while (!reader.EOF)
            {
                if (reader.Name != "doc")
                {
                    reader.ReadToFollowing("doc");
                }
                if (!reader.EOF)
                {
                    XElement doc = (XElement)XElement.ReadFrom(reader);
                }
            }

        }
    }
}