Microsoft Excel 破坏 .csv 文件中的变音符号？答案

【问题标题】：Microsoft Excel mangles Diacritics in .csv files?Microsoft Excel 破坏 .csv 文件中的变音符号？
【发布时间】：2010-09-14 09:10:03
【问题描述】：

我正在以编程方式将数据（使用 PHP 5.2）导出到 .csv 测试文件中。
示例数据：Numéro 1（注意带重音的 e）。数据为 utf-8（无前置 BOM）。

当我在 MS Excel 中打开此文件时，显示为 NumÃ©ro 1。

我可以在正确显示它的文本编辑器 (UltraEdit) 中打开它。 UE 报告字符为decimal 233。

我如何导出文本 .csv 文件中的数据，以便 MS Excel 能够正确呈现它，最好不要强制使用导入向导，或者不使用默认向导设置？

【问题讨论】：

我很想了解更多关于您的 BOM 解决方案的信息，因为我相信我已经尝试过对我不起作用的“EF BB BF”。
选择的工作解决方案是： * 包括 BOM ； utf-8 * 使用此标头：'内容类型：文本/纯文本； charset=utf-8' 这在 excel 2003 和 excel 2007 中“有效”——有效 = 在没有导入向导的情况下打开并正确呈现变音符号。我没有验证是否需要 BOM。
BOM是必填项，我刚刚测试了这个。没有它，特殊字符将无法正常显示。
如果有人能详细说明如何添加 BOM（字节顺序标记），我会很高兴的。如果我只是执行类似 Response.Write(EF BB BF") 之类的操作，那么这些字符只会显示在文件的开头。
sydneyos：正如 Fergal 在下面所说的那样；将 \uFEFF 添加到您的字符串中。

标签： excel encoding csv diacritics

【解决方案1】：

这只是字符编码的问题。看起来您正在将数据导出为 UTF-8：UTF-8 中的 é 是两字节序列 0xC3 0xA9，在 Windows-1252 中解释为 é。当您将数据导入 Excel 时，请务必告诉它您使用的字符编码是 UTF-8。

【讨论】：

我已确认数据为 UTF-8。我在文件中输入什么让 excel 知道我的数据是 utf-8（BOM？）
我认为需要更改文件编码，excel使用系统默认codepage处理csv文件
我不完全确定，因为我当前使用的机器上没有安装 Excel，但是使用 OpenOffice，当您导入 CSV 文件时，有一个字符编码下拉框。从那里，选择 Unicode (UTF-8)。
Excel 没有 AFAIK 下拉菜单
查看this。对我也有用。

【解决方案2】：

检查您生成文件的编码，要使excel正确显示文件，您必须使用系统默认代码页。

您使用哪种语言？如果是 .Net，您只需要在生成文件时使用 Encoding.Default。

【讨论】：

导出数据为utf-8。我正在用 php 5 编写导出文件
将数据转码到 Windows-1252 代码页，我不知道如何用 php 完成它

【解决方案3】：

CSV 格式在 Excel 中实现为 ASCII，而不是 unicode，从而破坏了变音符号。我们遇到了同样的问题，这就是我发现官方 CSV 标准在 Excel 中被定义为基于 ASCII 的方式。

【讨论】：

其实 CSV 并没有绑定特定的编码。假设 ASCII 是 Excel。 en.wikipedia.org/wiki/Comma-separated_values
我就是这么说的。 “在 Excel 中实现为 ASCII”、“在 Excel 中定义为基于 ASCII 的 CSV”。不知道你在说什么，因为你似乎同意我的观点。
其实你说“CSV 格式被实现为 ASCI”，我想这就是混乱的根源。

【解决方案4】：

格式正确的 UTF8 文件可以将 Byte Order Mark 作为其前三个八位字节。这些是十六进制值 0xEF、0xBB、0xBF。这些八位位组用于将文件标记为 UTF8（因为它们与“字节顺序”信息无关）。1 如果此 BOM 不存在，则让消费者/读者推断文本的编码类型。不支持 UTF8 的读取器会将字节读取为其他编码，例如 Windows-1252，并在文件开头显示字符 ï»¿。

存在一个已知错误，即 Excel 在通过文件关联打开 UTF8 CSV 文件时假定它们采用单字节编码，忽略 UTF8 BOM 的存在。任何系统默认代码页或语言设置都无法解决此问题。 BOM 不会在 Excel 中提供线索 - 它只是行不通。（少数报告声称 BOM 有时会触发“导入文本”向导。）此错误似乎存在于 Excel 2003 和更早版本中。大多数报告（在此处的答案中）说这已在 Excel 2007 及更高版本中得到修复。

请注意，您可以始终*使用“导入文本”向导在 Excel 中正确打开 UTF8 CSV 文件，该向导允许您指定正在打开的文件的编码。当然这样就不太方便了。

此答案的读者很可能处于他们不特别支持 Excel Ã 和其他类似的 Windows- 1252 个字符。 添加 UTF8 BOM 可能是您最好、最快的解决方法。

如果您在使用旧版 Excel 时遇到用户问题，并且 Excel 是 CSV 的唯一使用者，您可以通过导出 UTF16 而不是 UTF8 来解决此问题。 Excel 2000 和 2003 将正确双击打开这些。（其他一些文本编辑器可能会遇到 UTF16 问题，因此您可能需要仔细权衡您的选择。）

_{* 除非你不能，（至少）Excel 2011 for Mac 的导入向导实际上并不总是适用于所有编码，不管你告诉它什么。轶事证据> :)}

【讨论】：

花了我很长时间才找到指定编码的位置。保存对话框 > 工具按钮 > Web 选项 > 编码选项卡。他们确实很擅长隐藏这些重要的事情。
错误：将 BOM 添加到 UTF-8 文件可以正确加载该文件，而不需要 Excel 2007 中的导入向导。
我们发现了和 Victor 今天说的一样的东西（使用 Excel 2010，这是我们可用的全部）。添加 UTF-8 BOM/签名 (EF BB BF) 似乎修复了使用系统默认编码的双击问题，并正确使用了 UTF8 :)
一般而言，UTF-8 编码的文件应该不在前面加上字节顺序标记。 UTF-8 没有可变字节顺序，将其放在那里会破坏 UTF-8 的 ASCII 兼容性。有一些特定的文件格式允许或鼓励使用 UTF-8 仿 BOM，否则应避免使用。 CSV 完全不了解编码，因此任何人都可以猜测给定工具是否会将字节序列 0xEF 0xBB 0xBF 解释为 UTF-8 的指示符；第一个单元格中的不可见控制字符；第一个单元格中的字符ï»¿；或完全不同的东西。
@Ian：没有人确切知道它是 UTF-8 with BOM - 0xEF 0xBB 0xBF 在大多数遗留编码中也是一个有效序列（因此它经常被误解为ISO-8859-1 或 cp1252 并显示为 ï»¿)。它仅有助于猜测算法，以及专门考虑它的文件格式（例如 XML）。在 UTF-8 文件中包含虚假 BOM 的缺点是您破坏了它们的 ASCII 兼容性（UTF-8 的一个主要卖点）许多不了解编码的文本工具会在面对意想不到的领先虚假 BOM 时崩溃。

【解决方案5】：

导入时选择 UTF-8 编码。如果您使用 Office 2007，这是您选择它的地方：打开文件后。

【讨论】：

这很有用。我已修改问题以询问如何在不求助于向导的情况下执行此操作

【解决方案6】：

预置 BOM (\uFEFF) 对我有用 (Excel 2007)，因为 Excel 将文件识别为 UTF-8。否则，保存它并使用导入向导可以，但不太理想。

【讨论】：

它仍然会打开文本导入向导，所以不同之处在于您可以简单地双击，所以仍然不理想，但无论如何都是唯一已知的解决方案。
对我来说，Excel 2007 不会出现导入向导。
我也没有导入向导 - 如果存在 UTF8 BOM/签名 (EF BB BF)，它将按预期工作。
另外，\ufeff 是 UTF-16 (BE) BOM 而不是 UTF-8 BOM
不，@AlastairMcCormack，两者都是，取决于它的编码方式。编码为 UTF-8 的 "\ufeff" 正好是 EF BB BF。（编码为 UTF-16 将只有两个字节。）

【解决方案7】：

正如 Fregal 所说，\uFEFF 是要走的路。

<%@LANGUAGE="JAVASCRIPT" CODEPAGE="65001"%>
<%
Response.Clear();
Response.ContentType = "text/csv";
Response.Charset = "utf-8";
Response.AddHeader("Content-Disposition", "attachment; filename=excelTest.csv");
Response.Write("\uFEFF");
// csv text here
%>

【讨论】：

只需观察并了解使用 BOM 时 Excel 2007 中如何忽略制表符分隔符。你必须想出更多的东西。

【解决方案8】：

您可以保存扩展名为“xls”的 html 文件，并且重音符号可以使用（至少 2007 年之前）。

示例：将此（在记事本中使用另存为 utf8）另存为 test.xls：

<html>
<meta http-equiv="Content-Type" content="text/html" charset="utf-8" />
<table>
<tr>
  <th>id</th>
  <th>name</th>
</tr>
<tr>
 <td>4</td>
 <td>Hélène</td>
</tr>
</table>
</html>

【讨论】：

有趣的选项。它会正确打开文本，但由于某种原因，所有页面都是完全白色的。没有分隔行和列的经典电子表格行（Office for mac）
是的，在 Windows 上的 Office 2007 中也是如此。老实说，它总是让我感到惊讶。（注意，如果您将border="1" 添加到表格中，您确实会得到行，但只是在 4 个单元格周围:)

【解决方案9】：

我还注意到，这个问题前段时间已经“回答”了，但我不明白那些说如果不使用文本向导就无法在 Excel 中成功打开 utf8 编码的 csv 文件的故事。

我的可重现经验：在记事本中输入 Old MacDonald had a farm,ÈÌÉÍØ，按 Enter，然后另存为（使用 UTF-8 选项）。

使用 Python 显示其中的实际内容：

>>> open('oldmac.csv', 'rb').read()
'\xef\xbb\xbfOld MacDonald had a farm,\xc3\x88\xc3\x8c\xc3\x89\xc3\x8d\xc3\x98\r\n'
>>> ^Z

很好。记事本已将 BOM 放在前面。

现在进入 Windows 资源管理器，双击文件名，或右键单击并使用“打开方式...”，然后弹出 Excel (2003) 并按预期显示。

【讨论】：

@Cocowalla：嗯，我刚刚尝试过这个（再次；我在发布之前测试过它）并且它适用于 Excel 2007（这是我现在使用的）。您是否通过open('oldmac.csv', 'rb').read() 验证您的输入？
我没有尝试使用 Excel 2007（我知道 Excel 2007 可以很好地读取带有 BOM 的 UTF-8 文件），我尝试使用 Excel 2003
@Cocowalla：当我拥有 Excel 2003 时，它对我有用。您确定您拥有最新的 Excel 2003 服务包吗？您是否按照我的建议验证了您的输入？
我确实验证了记事本在文件开头粘贴了一个 BOM，但我使用的是 Excel 2003 SP2（SP3 可用） - 所以我猜这仅适用于 SP3

【解决方案10】：

以下是我在项目中向用户发送 Microsoft Excel 时使用的 PHP 代码：

  /**
   * Export an array as downladable Excel CSV
   * @param array   $header
   * @param array   $data
   * @param string  $filename
   */
  function toCSV($header, $data, $filename) {
    $sep  = "\t";
    $eol  = "\n";
    $csv  =  count($header) ? '"'. implode('"'.$sep.'"', $header).'"'.$eol : '';
    foreach($data as $line) {
      $csv .= '"'. implode('"'.$sep.'"', $line).'"'.$eol;
    }
    $encoded_csv = mb_convert_encoding($csv, 'UTF-16LE', 'UTF-8');
    header('Content-Description: File Transfer');
    header('Content-Type: application/vnd.ms-excel');
    header('Content-Disposition: attachment; filename="'.$filename.'.csv"');
    header('Content-Transfer-Encoding: binary');
    header('Expires: 0');
    header('Cache-Control: must-revalidate, post-check=0, pre-check=0');
    header('Pragma: public');
    header('Content-Length: '. strlen($encoded_csv));
    echo chr(255) . chr(254) . $encoded_csv;
    exit;
  }

更新：文件名改进和错误修复正确的长度计算。感谢TRiG 和@ivanhoe011

【讨论】：

我在此页面上尝试了其他几个建议，但这在 Excel 2007 中对我有用。最重要的更改是使用制表符而不是逗号（即使它是 .csv 文件）和上面的行这会回显两个字符，然后调用 mb_convert_encoding()。我还必须使用 --enable-mbstring 重新编译 PHP 以获得对 mb_convert_encoding() 的支持。谢谢！
这对我也很有效，谢谢。但是，在 Safari 中，我的控制台中出现错误“资源解释为文档但传输为...”我猜这是 WebKit 的怪癖，判断 stackoverflow.com/questions/3899426/…，但也许不是和/或有人找到了解决方案。此外，在您的示例中，我建议进行更改：'Content-Disposition: attachment; filename="'.$filename.'.csv"' 因为 Firefox 需要双引号，否则它将在空格后切断您的文件名。
你为什么输出 CSV (text/csv) 却称它为 Excel (application/vnd.ms-excel)？
这很好用！我可以确认它也可以在 Mac 上运行（在 Office 2011 中）。
不应该是header('Content-Length: '. mb_strlen($encoded_csv, 'UTF-16LE'));吗？

【解决方案11】：

Excel 2007 可以正确读取带有 BOM (EF BB BF) 编码的 csv 的 UTF-8。

Excel 2003（可能更早版本）使用 BOM (FF FE) 读取 UTF-16LE，但使用制表符而不是逗号或分号。

【讨论】：

【解决方案12】：

我只能让 CSV 在 Excel 2007 中正确解析为制表符分隔的 little-endian UTF-16，从正确的字节顺序标记开始。

【讨论】：

【解决方案13】：

在输出 CSV 数据之前回显 UTF-8 BOM。这修复了 Windows 中的所有字符问题，但不适用于 Mac。

echo "\xEF\xBB\xBF";

它对我有用，因为我需要生成一个仅在 Windows PC 上使用的文件。

【讨论】：

并非所有类型的列分隔符或每个 Excel 版本都如此。请阅读下面的答案（暂时如下）。

【解决方案14】：

在 Django 中将 BOM 写入输出 CSV 文件实际上对我有用：

def handlePersoonListExport(request):
    # Retrieve a query_set
    ...

    template = loader.get_template("export.csv")
    context = Context({
        'data': query_set,
    })

    response = HttpResponse()
    response['Content-Disposition'] = 'attachment; filename=export.csv'
    response['Content-Type'] = 'text/csv; charset=utf-8'
    response.write("\xEF\xBB\xBF")
    response.write(template.render(context))

    return response

【讨论】：

是的，这适用于 Excel 2010。在 Java 中使用 printWriter.print('\ufeff')，另请参阅 How to add a UTF-8 BOM in java。
查看this。对我也有用。

【解决方案15】：

在 Ruby 1.8.7 中，我将每个字段编码为 UTF-16 并丢弃 BOM（可能）。

以下代码是从active_scaffold_export中提取的：

<%                                                                                                                                                                                                                                                                                                                           
      require 'fastercsv'                                                                                                                                                                                                                                                                                                        
      fcsv_options = {                                                                                                                                                                                                                                                                                                           
        :row_sep => "\n",                                                                                                                                                                                                                                                                                                        
        :col_sep => params[:delimiter],                                                                                                                                                                                                                                                                                          
        :force_quotes => @export_config.force_quotes,                                                                                                                                                                                                                                                                            
        :headers => @export_columns.collect { |column| format_export_column_header_name(column) }                                                                                                                                                                                                                                
      }                                                                                                                                                                                                                                                                                                                          

      data = FasterCSV.generate(fcsv_options) do |csv|                                                                                                                                                                                                                                                                           
        csv << fcsv_options[:headers] unless params[:skip_header] == 'true'                                                                                                                                                                                                                                                      
        @records.each do |record|                                                                                                                                                                                                                                                                                                
          csv << @export_columns.collect { |column|                                                                                                                                                                                                                                                                              
            # Convert to UTF-16 discarding the BOM, required for Excel (> 2003 ?)                                                                                                                                                                                                                                     
            Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]                                                                                                                                                                                                                                        
          }                                                                                                                                                                                                                                                                                                                      
        end                                                                                                                                                                                                                                                                                                                      
      end                                                                                                                                                                                                                                                                                                                        
    -%><%= data -%>

重要的一行是：

Iconv.conv('UTF-16', 'UTF-8', get_export_column_value(record, column))[2..-1]

【讨论】：

【解决方案16】：

我发现的另一个解决方案是将结果编码为 Windows 代码页 1252（Windows-1252 或 CP1252）。这可以通过例如将Content-Type 适当地设置为text/csv; charset=Windows-1252 并类似地设置响应流的字符编码来完成。

【讨论】：

感谢这个。适用于 excel windows 和 mac。我正在使用它。
这仅在您的非 ascii 字符范围完全在 Windows-1252 范围内时才有效。因此，例如，没有韩文/中文/日文，没有西里尔文等。但我想你会在大多数西欧语言中使用这个。

【解决方案17】：

我找到了解决问题的方法。这是一个令人讨厌的 hack，但它确实有效：使用 Open Office 打开文档，然后将其保存为任何 excel 格式；生成的 .xls 或 .xlsx 将显示重音字符。

【讨论】：

OP 说他正在以编程方式导出，因此他不是在寻找需要手动干预的解决方案。

【解决方案18】：

如果您像我一样在 vb.net 中有旧代码，则以下代码对我有用：

    Response.Clear()
    Response.ClearHeaders()
    Response.ContentType = "text/csv"
    Response.Expires = 0
    Response.AddHeader("Content-Disposition", "attachment; filename=export.csv;")
    Using sw As StreamWriter = New StreamWriter(Context.Response.OutputStream, System.Text.Encoding.Unicode)
        sw.Write(csv)
        sw.Close()
    End Using
    Response.End()

【讨论】：

【解决方案19】：

UTF-8 在没有任何服务包的 Office 2007 中对我不起作用，无论是否有 BOM （U+ffef 或 0xEF,0xBB,0xBF 都不起作用）当 0xEF,0xBB,0xBF BOM 被前置时，安装 sp3 会使 UTF-8 工作。

UTF-16 在 python 中使用带有 0xff 0xef 的“utf-16-le”编码时有效 BOM 前置，并使用制表符作为分隔符。我不得不手动写出 BOM，然后使用“utf-16-le”而不是“utf-16”，否则每个 encode() 将 BOM 附加到写出的每一行在第二行的第一列及之后显示为垃圾。

无法判断 UTF-16 是否可以在没有安装任何 sp 的情况下工作，因为我现在不能回去了。叹息

这是在 windows 上的，不知道 MAC 的 office。

对于这两种工作情况，直接从浏览器和文本导入向导不会干预，它会像您期望的那样工作。

【讨论】：

也适用于 Excel 2011 for Mac。
感谢您的帖子，即使您没有安装office 2007 sp3，也可以使用utf-16le，但BOM应该是0xFF 0xFE

【解决方案20】：

请注意，包含 UTF-8 BOM 不一定是个好主意 - Mac 版本的 Excel 会忽略它，实际上会将 BOM 显示为 ASCII……电子表格第一个字段开头的三个讨厌的字符……

【讨论】：

我知道这条评论是 6 年后的事，但 FWIW：使用 JavaScript 下载像 '\uFEFF' + myCsvString 这样的文件在 Mac Excel 15.19.1 (2016) 上可以正常工作。

【解决方案21】：

用notepad++打开文件csv 点击编码，选择转换为 UTF-8（不转换为 UTF-8（无 BOM））保存用excel双击打开希望有所帮助克里斯托夫·格里森

【讨论】：

这不能回答问题，因为它应该以编程方式完成，并且不需要用户干预来手动重新保存每个文件

【解决方案22】：

Excel 版本 (2003 + 2007) 和文件类型的所有组合的答案

这里的大多数其他答案仅涉及他们的 Excel 版本，不一定对您有帮助，因为他们的答案可能不适用于您的 Excel 版本。

例如，添加 BOM 字符会导致自动列分隔符识别出现问题，但并非每个 Excel 版本都会出现问题。

有 3 个变量决定它是否适用于大多数 Excel 版本：

编码
BOM 角色存在
单元格分隔符

SAP 的一位坚忍不拔的人尝试了所有组合并报告了结果。最终结果？使用 UTF16le 与 BOM 和制表符作为分隔符，使其在大多数 Excel 版本中工作。

你不相信我吗？我也不会，但在这里阅读并哭泣：http://wiki.sdn.sap.com/wiki/display/ABAP/CSV+tests+of+encoding+and+column+separator

【讨论】：

为什么不直接添加sep=, 或您想使用的任何内容？如果您已经添加了 BOM，我假设您不反对向文件中添加内容。
好吧，实际上，要回答我自己的问题，您不会添加字段分隔符声明，因为它会导致此技巧停止工作。所以基本上它是乱码编码或者如果您的用户有错误的区域设置，您的文件没有被正确解释为 CSV。
utf-16le + BOM(0xFF 0xFE) + tab 是最好的