如何将 xml 编码 <?xml version="1.0" encoding="UTF-8"?> 添加到 SQL Server 中的 xml 输出

Question

可能与未回答的重复。 SQL Server 2008 - Add XML Declaration to XML Output

如果可能，请告诉我。我读过一些博客

http://forums.asp.net/t/1455808.aspx/1

http://www.devnewsgroups.net/group/microsoft.public.sqlserver.xml/topic60022.aspx

但我不明白为什么我不能这样做。

Answer 1

您必须手动添加它。 SQL Server 始终在内部将 xml 存储为 ucs-2，因此 SQL 无法为其生成 utf-8 编码标头

请参阅 MSDN 上的 "Limitations of the xml Data Type"

将 XML 数据存储在 xml 数据类型实例中时，不会保留 XML 声明 PI，例如 <?xml version='1.0'?>。这是设计使然。 XML 声明 (<?xml ... ?>) 及其属性（版本/编码/独立）在数据转换为 xml 类型后丢失。 XML 声明被视为对 XML 解析器的指令。 XML 数据在内部存储为 ucs-2。

Answer 2

当我读到这篇文章时，我认为这是“线的尽头”......没有解决方案......我几乎放弃了这种方法......但实际上有一种方法可以解决这个限制将 XML 转换为 varchar(max)，然后将声明附加到字符串的开头。以下帖子显示了如何：

Using SQL Server "FOR XML": Convert Result Datatype to Text/varchar/string whatever?

一个简单的例子如下所示：

SELECT 'MY DATA' As MyColumn INTO #MyTable 
SELECT '<?xml version="1.0" encoding="UTF-8"?>' + 
CAST((SELECT MyColumn FROM #MyTable FOR XML PATH('')) AS VARCHAR(MAX)) AS XmlData
DROP TABLE #MyTable 

输出：

<?xml version="1.0" encoding="UTF-8"?>
<MyColumn>MY DATA</MyColumn>

Answer 3

“手动添加”的公认答案虽然技术上正确，但不完整，因此具有误导性。只需使用您想要的任何“编码”添加 XML 声明并不会更改字符串的实际编码。这有时是可以的。如果您指定“UTF-8”并将 XML 数据转换为 VARCHAR，那么只要 所有 字符都是标准 ASCII 字符（值 1 - 127），那么肯定是UTF-8（至少没有明显的区别）。但是，如果有 any 个字符的值为 128 或更高，那么您确实 not 有一个 UTF-8 编码的 XML 文档。如果您将 XML 数据转换为 NVARCHAR，那么您将拥有一个 UTF-16 编码的文档，无论您在 XML 声明中手动指定什么。你应该只指定一个编码，如果它是实际使用的编码。

在 SQL Server 2019 之前（目前在 CTP 2.1 中处于测试阶段），没有办法在 SQL Server 中将编码设为 UTF-8，至少在不使用 SQLCLR 的情况下是这样。但在 SQL Server 2019 中，您现在可以将 XML 转换为实际的 UTF-8：

DECLARE @XML XML;
SET @XML = N'<test attr="&#x1F60E;"/>';
SELECT @XML,
       CONVERT(VARBINARY(100), CONVERT(NVARCHAR(MAX), @XML)), -- UTF-16 / UCS-2
       CONVERT(VARBINARY(100),
               CONVERT(VARCHAR(MAX),
                       CONVERT(NVARCHAR(MAX), @XML) COLLATE Latin1_General_100_CI_AS_SC_UTF8)
              ); -- UTF-8

返回：

Column 1: <test attr="?" />
Column 2: 0x3C007400650073007400200061007400740072003D0022003DD80EDE22002F003E00
Column 3: 0x3C7465737420617474723D223F3F222F3E

由于很多人暂时不会使用 SQL Server 2019，这可以通过 SQLCLR 实现。您可以使用 .NET Xml 类（例如 XmlWriter）通过各种选项导出它。事实上，我创建了一个 SQLCLR 函数库SQL#，其中包括这样一个函数：XML_SaveToFile。 XML_SaveToFile 函数允许指定任何有效的编码，它会在 XML 声明中设置它并确保使用该编码保存文件。它还具有缩进、换行等选项。仅供参考：虽然免费版本中有许多功能可用，但 XML_SaveToFile 仅在完整（付费）版本中可用。

Answer 4

最近几天我一直在处理这个问题，虽然可能有更好的解决方案，但我对这个 bash 脚本感到非常满意：

iconv -f UCS-2 -t UTF-8 products.xml > products_utf8.xml
echo "<?xml version='1.0'?>\n<products>\n$(cat products_utf8.xml)\n</products>" > products_utf8_final.xml

基本上，这个脚本会得到一个可怕的bcp软件生成的文件，它会生成不完整和无效的XML数据，将其从UCS-2格式转换为UTF-8（第一行），并在开头和结尾添加文件需要什么（脚本的第二行）才能有效和完整。

它对我有用。我使用 BCP 生成 XML 文件的脚本是：

bcp.exe "select * from dat1.dbo.Products FOR XML AUTO,ELEMENTS” queryout "C:\products.xml" -T -w -r -S .\SQLEXPRESS