Python插入不需要的字符

Question

我正在尝试使用 Python 生成一组 HTML 表格，其中包含从 CSV 中提取的值。该脚本运行良好，但是它会在任何拉入值的地方添加奇数的“¬†”字符。

这是我用来抓取 CSV 数据的代码：

import csv
import fileinput
import re

out=open("audiencestats.csv","rU")
data=csv.reader(out)
values =[row for row in data]
metrics = values.pop(0) 
out.close()

这会创建一个函数来制作 html 表格：

def maketable(leftmetric, rightmetric, leftvalue, rightvalue):
  template = '''
  <table width="99%%" border="1"> 
   <tbody>
    <tr>
    <td align="center" valign="middle">
    <h3>%s</h3>
    </td>
    <td align="center" valign="middle">
    <h3>%s</h3>
    </td>
    </tr>
    <tr>
    <td align="center" valign="middle"> %s</td>
    <td align="center" valign="middle"> %s</td>
    </tr>
    </tbody>
  </table>
  '''
  file.write(template % (leftmetric, rightmetric, leftvalue, rightvalue))

然后将表格写入文本文件：

for i in values:
  filename = "%s.txt" % i[0]
  file = open(filename , 'w')
  file.write(header)
  maketable(metrics[1],metrics[2],i[1],i[2])
  maketable(metrics[3],metrics[4],i[3],i[4])
  maketable(metrics[5],metrics[6],i[5],i[6])
  maketable(metrics[7],metrics[8],i[7],i[8])
  maketable(metrics[9],metrics[10],i[9],i[10])
  maketable(metrics[11],metrics[12],i[11],i[12])
  file.write(header2)
  print makesocial(i[13],i[14],i[15])
  file.close()

我尝试将下面的 re.sub 添加到 for 循环中，但十字仍然存在。

for line in fileinput.input(inplace=1):
    line = re.sub(' ','', line.rstrip())
    print(line)

我错过了什么吗？我的电脑变成宗教了吗？

下面也复制了输出示例：

<h1>Audience</h1>
  <table width="99%" border="1"> 
   <tbody>
    <tr>
    <td align="center" valign="middle">
    <h3>UVs (000)</h3>
    </td>
    <td align="center" valign="middle">
    <h3>PVs (000)</h3>
    </td>
    </tr>
    <tr>
    <td align="center" valign="middle"> 580.705</td>
    <td align="center" valign="middle"> 1003</td>
    </tr>
    </tbody>
  </table>

Answer 1

您的数据没有任何问题——它是纯 ASCII。问题出在您的源代码中。

单击“编辑”按钮复制您的实际源代码，而不是格式化的源代码，它在 template 字符串文字的中间有不间断空格 (U+00A0) 字符。

假设您的编辑器和您从中复制和粘贴到的浏览器运行正常，这意味着您的实际 UTF-8 源代码具有 '\xc2\xa0' 序列。

由于您将非 ASCII 字符放入 str/bytes 文字中（正如我在另一个答案中解释的那样，总是是个坏主意），这意味着您的字符串以 '\xc2\xa0' 序列结尾。

在屏幕和屏幕之间的某个地方，还有一个额外的编码问题，这会被混淆成'\xc2\xac\xe2\x80\xa0' 序列——当解释为 UTF-8 时，会显示为 u' '。

我们可以尝试找出额外问题的来源，但这并不重要。

直接的解决方法是将源代码中的所有不间断空格替换为纯 ASCII 空格。

除此之外，您还需要弄清楚您正在使用什么来生成这些不间断的空间。通常，这是在文字处理器而不是文本编辑器中编辑源代码的标志；如果是这样，请停止这样做。

如果您实际上没有任何故意非 ASCII 源代码，那么在文件顶部使用 # coding=ascii 而不是 # coding=utf-8 是捕获此类错误的好方法。 （您仍然可以处理 UTF-8 值；所有编码声明都说源代码本身是 UTF-8。）

Answer 2

你还没有回答我为澄清这一点而提出的问题，所以我在这里猜测一下。

首先，您的 re.sub 不起作用的原因是您的模式是 UTF-8   ('\xc2\xac\xe2\x80\xa0')，但您尝试匹配 cp1252   ('\xac\x86') .显然，这些不匹配。

其次，您首先收到垃圾的原因是您的 CSV 文件正在由不使用 UTF-8 的东西处理，即使您认为它是。可能是您的电子表格程序、文本编辑器或命令行工具。

很可能，您只是在链上的某个步骤将一种 8 位编码与另一种混合在一起——将一些文本写为 cp1252，然后尝试将其编辑为 UTF-8，反之亦然。

但是† 很有趣。那是U+2020。如果您有一些 UTF-16-LE 文本，并将其编辑为 UTF-8（或 ASCII 或 cp1252），并尝试添加一对空格，那么您实际上添加了一个 U+2020。通常，您会认为很难混淆 UTF-16 和 UTF-8。但很明显，您只是在注视文本，而不是实际查看字节，如果您的所有数据都符合 Latin-1，那么 UTF-16 对您的眼球来说看起来非常好——当然，每个真实的后面都有一个不可见的 NUL 字符角色，但你看不到看不见的东西。

无论如何，确切的细节是什么并不重要。解决这个问题的唯一方法是查看链上每个步骤生成的文件中的实际字节，找出你做错的地方，并适当地修复它。如果您不知道如何完成其​​中的任何部分，则需要向其他人提供足够的信息来为您完成。

但是，如果您只想快速解决问题：将您输入 Python 脚本的文件放入十六进制编辑器中查看。找到这两个垃圾字符，并记录它们是什么字节。如果他们是ac 86，只需更改您的代码以执行s = s.replace('\xac\x86', '')。

Answer 3

试试这个：

line = re.sub(r'(?u) ','', line.rstrip())

然后正则表达式将您的字符串视为 unicode。