从 HUGE Xml 转换为 Json

Question

我需要帮助将大型 Xml 转换为 Json 格式。

我一直在研究这个话题。我发现了这个：

How to convert JSON to XML or XML to JSON?

Reading large XML documents in .net

Reading and manpulating large xml of 1 GB

嗯，简单的方法是这样的：

XmlDocument doc = new XmlDocument();
doc.LoadXml(xml);
string jsonText = JsonConvert.SerializeXmlNode(doc);

但我无法使用它，因为我的文件很大 (2GB) 所以我得到了OutOfMemoryException。

所以，我需要另一种方式来读取大文件。我一直用这种方式：

    using (XmlReader xr = XmlReader.Create(inputPath))
    {
            while (xr.Read())
            {
                 switch(xr.NodeType)
                 {
                     case XmlNodeType.Element:
                       //Do things
                       break;
                     case XmlNodeType.Text:
                       //Do things
                       break;
                     case XmlNodeType.EndElement:
                       //Do things
                       break;
                 }
            }
     }

我读取了 xml 文件并将 xml 转换为 json 并逐个标记连接字符串。但它很复杂，效率极低，而且不能正常工作。

当我研究时，我发现了 LINQ to XML。但我不知道如何使用它。我认为有利于操作和过滤巨大的 xml，但我需要阅读整个文件。

我的 Xml 文件如下所示：

<?xml version="1.0" encoding="utf-8"?>
<root>
   <key>
      <item> value </value>
      <item> value2 </value>
      <item> value3 </value>
   </key>

   <id>1</id>
   <name>Foo</name>

   <hugeArray> //This array has around 12 millions of entries. Here is my problem.
     <item>
        <direction> </direction>
        <companyId> </companyId>
        <nameId> </nameId>
     </item>
     <item>
        <direction> </direction>
        <companyId> </companyId>
        <nameId> </nameId>
     </item>
      ....
   </hugeArray>
</root>

我发现数组有问题。我不知道如何剪切和阅读它。

我应该如何阅读整个文件？ json应该怎么写？

我正在连接字符，但我可以使用 JsonWriter 类。

更新：

该算法应该能够从任何xml转换为json。

Answer 1

尝试推荐的 Microsoft 技术： https://docs.microsoft.com/en-us/dotnet/csharp/programming-guide/concepts/linq/how-to-perform-streaming-transform-of-large-xml-documents

因此，例如，您有以下部分代码：

                while (reader.Read())  
                {  
                    if (reader.NodeType == XmlNodeType.EndElement)  
                        break;  
                    if (reader.NodeType == XmlNodeType.Element  
                        && reader.Name == "Item")  
                    {  
                        item = XElement.ReadFrom(reader) as XElement;  
                        if (item != null)  
                        {  
                            //here you can get data from your array object
                            //and put it to your JSON stream
                        }  
                    }  
                } 

如果你想定义元素的类型，你可以检查它是否有子元素： How to check if XElement has any child nodes?

它应该与 JSON 流配合使用。有关 JSON 蒸汽的更多信息，请查看：Writing JSON to a stream without buffering the string in memory

Answer 2

大文件总是需要使用 XmlReader。我在下面的代码中使用了 XmlReader 和 Xml Linq 的组合

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Xml;
using System.Xml.Linq;

namespace ConsoleApplication120
{
    class Program
    {
        const string FILENAME = @"c:\temp\test.xml";
        static void Main(string[] args)
        {
            List<Dictionary<string, string>> items = new List<Dictionary<string, string>>();
            XmlReader reader = XmlReader.Create(FILENAME);

            reader.ReadToFollowing("hugeArray");

            while (!reader.EOF)
            {
                if (reader.Name != "item")
                {
                    reader.ReadToFollowing("item");
                }
                if (!reader.EOF)
                {
                    XElement item = (XElement)XElement.ReadFrom(reader);
                    Dictionary<string, string> dict = item.Elements()
                        .GroupBy(x => x.Name.LocalName, y => (string)y)
                        .ToDictionary(x => x.Key, y => y.FirstOrDefault());

                    items.Add(dict);
                }
            }
        }
    }


}