在正则表达式中容纳两种类型的引号

Question

我正在使用正则表达式替换输入字符串中的引号。我的数据包含两种“类型”的引号 -

" and “

两者之间有一个非常微妙的区别。目前，我在我的正则表达式中明确提到了这两种类型

\"*\“*

我担心在未来的数据中我可能会得到一个不同的“类型”的引用，我的正则表达式可能会失败。存在多少种不同类型的报价？有没有办法将这些规范化为一种类型，这样我的正则表达式就不会因看不见的数据而中断？

编辑 -

我的输入数据由 HTML 文件组成，我将 HTML 实体和 URL 转义为 ASCII

escaped_line = HTMLParser.HTMLParser().unescape(urllib.unquote(line.decode('ascii','ignore')))

其中 line 指定 HTML 文件中的每一行。我需要“忽略”ASCII，因为我数据库中的所有文件都没有相同的编码，而且在读取文件之前我不知道编码。

编辑2

我无法使用替换功能这样做。我尝试了 replace('"','') 但它不能替换其他类型的引号 '"'。如果我将它添加到另一个替换函数中，它会抛出非 ASCII 字符错误。

条件

不允许使用外部库，只能使用本机 python 库。

Answer 1

我只能帮助您解决有关引号的原始问题。事实证明，Unicode 为每个字符定义了许多属性，这些都可以通过 Unicode 字符数据库获得。 “引号”是这些属性之一。

存在多少种不同类型的引号？

29，根据 Unicode，见下文。

Unicode 标准为我们带来了一个关于 Unicode 属性的权威文本文件，PropList.txt，其中包含一个引号列表。由于 Python 没有support all Unicode properties in regular expressions，因此您目前不能使用\p{QuotationMark}。但是，创建一个正则表达式字符类很简单：

// placed on multiple lines for readability, remove spaces
// and then place in your regex in place of the current quotes
[\u0022   \u0027    \u00AB    \u00BB
\u2018    \u2019    \u201A    \u201B
\u201C    \u201D    \u201E    \u201F
\u2039    \u203A    \u300C    \u300D
\u300E    \u300F    \u301D    \u301E
\u301F    \uFE41    \uFE42    \uFE43
\uFE44    \uFF02    \uFF07    \uFF62
\uFF63]

正如上面“tchrist”所指出的，你可以使用支持\p{QuotationMark}的Matthew Barnett's regex library来省去麻烦。

Answer 2

原来有一种更简单的方法可以做到这一点。只需在您用python编写的正则表达式前面附加文字'u'。

regexp = ru'\"*\“*'

当您想要编译/搜索/匹配您的正则表达式与您的字符串时，请确保使用 re.UNICODE 标志。

re.findall(regexp, string, re.UNICODE)

不要忘记包含

#!/usr/bin/python
# -*- coding:utf-8 -*-

在源文件的开头，以确保可以将 unicode 字符串写入源文件。

Answer 3

我认为 Python 的正则表达式实现中没有“引号”字符类，因此您必须自己进行匹配。

您可以保留常用引号 unicode 字符 (here's a list for a good start) 的列表，并以编程方式构建匹配引号的正则表达式部分。