有没有办法告诉文本（csv）文件已使用错误的编码进行转换或处理？

Question

对不起，标题有点含糊，我想不出更好的。一旦想到更好的标题，我会立即对其进行编辑。

问题如下：

1. 我的系统在UTF-8中导出一个CSV文件
2. 用户在他的编辑器中打开文件 - 可能是 UTF，也可能是其他字符集 - 例如，Windows-1250（但实际上可以是任何字符集）
3. 用户将文件保存在UTF-8 *
4. 用户将文件导入回系统，现在所有的重音符号和特殊字符都变成了乱码。

编辑：编码问题可能发生也可能不发生！另外，我不知道哪个字符集可能已被“用于”不需要的转换。

而问题是：

有没有办法判断在流程的任何一个步骤中编码是否被错误解释或更改？

我不需要其他任何东西，只是为了警告用户 utd-8 字符集在进程的一个步骤中被误解了，或者文件由于字符集转换而被损坏..

另外，我不需要任何防黑客的解决方案，我只想减轻施加在用户身上的负担，以便在发生潜在的灾难性情况时向他们发出警告。

---

详情：

我在这里处理的是 CSV，我没有看到任何简单的方法来隐藏控制字符，以便用户不会偶然或故意删除它。

使用的编辑器种类繁多，主要是德语的 MS Excel，但不幸的是，它不仅限于此。可以导出 Unicode (UTF-16 LE) 文本文件，但这并不能解决问题 - 由于（无意的）字符集操作，上传的文件的 Unicode 格式错误。

我想出的解决方案是，我将始终在第一行显示® Company Inc. - Do not remove this line 之类的内容，其中 (R) 符号是控制字符 - 很容易检查它是否是预期的字符或不是。但我相信你会同意，这离一个好的解决方案还差得很远。

Answer 1

如果您知道他们使用的编码（在本例中为 CP1250，虽然德语 Excel 宁愿指示 CP1252），您可以尝试撤消更改并查看是否出现有效的 UTF-8，即：

1. 以 UTF-8 格式读取文件
2. 转换为 CP1250
3. 再次将字节解释为 UTF-8

如果第 3 步有错误，那么文件显然是 UTF-8 开头的（至少错误概率可以忽略不计），如果不是，那么您所描述的就发生了。

额外的好处：如果数据是 ASCII 格式，这将不会破坏任何内容。

快速 PowerShell 测试：

PS Home:\> $s = '® Company Inc. - Do not remove this line'
PS Home:\> $bytesInFile = [System.Text.Encoding]::UTF8.GetBytes($s)
PS Home:\> $wrongText = [System.Text.Encoding]::GetEncoding(1250).GetString($bytesInFile)
PS Home:\> $wrongText
® Company Inc. - Do not remove this line
PS Home:\> $wrongBytes = [System.Text.Encoding]::UTF8.GetBytes($wrongText)

PS Home:\> # 1. read as UTF-8
PS Home:\> $readString = [System.Text.Encoding]::UTF8.getString($wrongBytes)
PS Home:\> # 2. Convert to CP1250
PS Home:\> $readStringAs1250Bytes = [System.Text.Encoding]::GetEncoding(1250).GetBytes($readString)
PS Home:\> # 3. Interpret as UTF8 again
PS Home:\> $interpretedText = [System.Text.Encoding]::UTF8.getString($readStringAs1250Bytes)
PS Home:\> $interpretedText
® Company Inc. - Do not remove this line

如果文件没有损坏：

PS Home:\> # 1. read as UTF-8
PS Home:\> $readString = [System.Text.Encoding]::UTF8.getString($bytesInFile)
PS Home:\> # 2. Convert to CP1250
PS Home:\> $readStringAs1250Bytes = [System.Text.Encoding]::GetEncoding(1250).GetBytes($readString)
PS Home:\> # 3. Interpret as UTF8 again
PS Home:\> $interpretedText = [System.Text.Encoding]::UTF8.getString($readStringAs1250Bytes)
PS Home:\> $interpretedText
� Company Inc. - Do not remove this line
PS Home:\> $interpretedText.Contains([char]0xFFFD)
True

最安全的方法可能是告诉编码/解码器在无效字符上抛出错误，但这在一定程度上取决于您使用的是什么。不过，通常您可以设置它（我只是不精通 .NET 的那一部分，无法通过 PowerShell 进行设置）。检查 U+FFFD 替换字符将是下一个最佳选择。