有没有办法通过安装脚本或批处理检查文件的编码？

Question

有没有办法通过安装脚本/Windows 批处理/PowerShell 在传递文件进行转换之前检查文件是否为 UTF-8？

作为背景，我目前正在使用 C++ 中的 Visual Studio 2005（升级到 Visual Studio 2017）开发旧版（日语）Windows 软件。

我正在处理使 GUI 能够显示和输入汉字的要求。因此决定使用 UNICODE 进行项目/解决方案编码。

由于该项目最初使用多字节，为了向后兼容 UNICODE，我决定将配置文件（ini、dat、保存文件）编码为 UTF-8，因为这些文件也被 Web 应用程序引用。

软件的主要部分现在已经完成并且可以工作了，我还有最后一个问题 - 推出版本升级安装程序。

在此安装程序中（使用安装脚本），我需要将保存文件（以前以 SHIFT-JIS 编码，因为这些保存文件包含日语文本）更新为 UTF-8。

我已经在以下几行中创建了一个批处理文件，它将 SHIFT-JIS 转换为 UTF-8，该文件在安装程序的最后部分调用并在转换后被删除。

@echo off
:: Shift_JIS -> UTF-8
setlocal enabledelayedexpansion
for %%f in ("%~dp0\savedfiles\*.sav") do (
    echo %%~ff| findstr /l /e /i ".sav"
      if !ERRORLEVEL! equ 0 (
        powershell -nop -c "&{[IO.File]::WriteAllText($args[1], [IO.File]::ReadAllText($args[0], [Text.Encoding]::GetEncoding(932)))}" \"%%~ff"  \"%%~ff" 
      )
)

但是，这样做的问题是，当用户 (1) 升级、(2) 卸载（.sav 文件被故意留下）和 (3) 重新安装软件时，保存文件会被双重重新编码并导致软件崩溃。 （（1）升级时更新UTF-8日文字符，（3）重新安装后变为垃圾字符。）

Answer 1

如果您正在升级，那么所有当前文件都应该在 Shift-JIS 中。即使您在某些情况下同时保留 Shift-JIS 和 UTF-8 文件，那么您只需要处理 2 种类型的编码。因此，您可以通过检查文件是否不是有效的 UTF-8 来解决此问题，然后它是 Shift-JIS。当然，在极少数情况下，这仍然会受到错误检测，但否则它可能对您的用例有好处

默认情况下，读取文本文件时使用best-fit fallback or replacement fallback 处理程序。我们可以更改为exception fallback，这样如果 Shift-JIS 文件以 UTF-8 格式打开，它将引发异常

try {
    $t = [IO.File]::ReadAllText($f, [Text.Encoding]::GetEncoding(65001, `
         (New-Object Text.EncoderExceptionFallback), `
         (New-Object Text.DecoderExceptionFallback)))
} catch {
    # File is not UTF-8, reopen as Shift-JIS
    $t = [IO.File]::ReadAllText($f, [Text.Encoding]::GetEncoding(932))
}

# Write the file as UTF-8
[IO.File]::WriteAllText($f, $t)

最好遍历文件并在 PowerShell 中进行转换。如果您确实需要使用批处理文件，请将所有内容包装在 *.ps1 文件中并从批处理中调用它