大型动态 XML 的 Web API 性能问题

Question

我创建了一个 WebAPI sql 接口，以便开发用户可以通过 RESTful 接口动态查询数据库。小查询速度很快，但当大查询出现时，就会出现严重的延迟问题，尤其是在同时进行多个调用时。我已经对此进行了性能分析，绝大多数处理都是在线完成的：

var xe = reader.ReadOuterXml();

客户端期望 XML 文本字符串，所以我尝试只执行 ExecuteReader，但结果以 2033 字节块返回，这似乎更慢，这是不幸的，因为在 SQL Server Management Studio 中运行此查询（ 'For XML Auto'）几乎是即时的。

我正在测试 16MB 的 XML 响应，但它们的响应超过 150MB - 200MB。

如何优化它以更好地处理这些大型响应？代码如下：

public XElement AdHockSelect([FromBody] XElement valueElement, string connectionStringName, string database)
{
    try
    {
        string rawConnectionString = ConfigurationManager.ConnectionStrings[connectionStringName].ConnectionString;
        string sqlconnectionstring = string.Format(rawConnectionString, database);
        using (SqlConnection sqlConnection = new SqlConnection(sqlconnectionstring))
        {
            string[] sqlComandTexts = valueElement.Value.Trim().Split(new char[] { ';' }, StringSplitOptions.RemoveEmptyEntries);
            string sqlQueryText = "";

            foreach (var sqlComandText in sqlComandTexts)
            {
                sqlQueryText += sqlComandText + "  for xml auto;";
            }

            sqlConnection.Open();
            SqlCommand sqlCommand = new SqlCommand(sqlQueryText, sqlConnection);

            using (XmlReader reader = sqlCommand.ExecuteXmlReader())
            {
                XElement xd = new XElement(new XElement("Response"));

                if (reader.EOF)
                {
                    return XElement.Parse("<Response/>");
                }
                else
                {
                    while (!reader.EOF)
                    {
                        if (reader.NodeType == XmlNodeType.Element)
                        {
                            var xe = reader.ReadOuterXml();
                            xd.Add(XElement.Parse(xe));
                        }
                        else
                        {
                            reader.Read();
                        }
                    }
                    return xd;
                }
            }
        }
    }

Answer 1

与其完全加载每个元素的字符串表示，不如考虑使用XNode.ReadFrom() 将XML 直接流式传输到新的XElement：

                if (reader.NodeType == XmlNodeType.Element)
                {
                    var element = XNode.ReadFrom(reader) as XElement;
                    if (element != null)
                        xd.Add(element);
                }
                else
                {
                    reader.Read();
                }

这将比使用ReadOuterXml() 更简单，后者使用临时XmlWriter 将输入流中的XML 复制到输出StringWriter。但是，如果不知道您在ReadOuterXml() 下的时间都花在了哪些地方，我无法预测这种改进是否会很大。