Python re.sub() 优化

Question

我有一个 python 列表，每个字符串都是以下 4 个可能的选项之一（当然名称会不同）：

Mr: Smith\n
Mr: Smith; John\n
Smith\n
Smith; John\n

我希望将这些更正为：

Mr,Smith,fname\n
Mr,Smith,John\n
title,Smith,fname\n
title,Smith,John\n

用 4 个 re.sub() 就够简单了：

with open ("path/to/file",'r') as fileset:
    dataset = fileset.readlines()
for item in dataset:
    dataset = [item.strip() for item in dataset]    #removes some misc. white noise
    item = re.sub((.*):\W(.*);\W,r'\g<1>'+','+r'\g<2>'+',',item)
    item = re.sub((.*);\W(.*),'title,'+r'\g<1>'+','+r'\g<2>',item)
    item = re.sub((.*):\W(.*),r'\g<1>'+','+r'\g<2>'+',fname',item)
    item = re.sub((*.),'title,'+r'\g<1>'+',fname',item)

虽然这对于我正在使用的数据集来说很好，但我希望提高效率。
有没有一个单一的操作可以简化这个过程？

如果我忘记了报价或类似内容，请见谅；我现在不在我的工作站，我知道我已经删除了换行符 (\n)。

谢谢你，

Answer 1

简介

您可以将其减少到仅一行，而不是运行两个循环。改编自 How to iterate over the file in Python（并使用我的 代码 部分中的代码）：

f = open("path/to/file",'r')
while True:
    x = f.readline()
    if not x: break
    print re.sub(r, repl, x)

请参阅 Python - How to use regexp on file, line by line, in Python 了解其他替代方案。

---

代码

为了查看，我已将您的文件更改为数组。

See regex in use here

^(?:([^:\r\n]+):\W*)?([^;\r\n]+)(?:;\W*(.+))?

注意：在 python 中你不需要所有这些，我这样做是为了在 regex101 上显示它，所以你的正则表达式实际上只是 ^(?:([^:]+):\W*)?([^;]+)(?:;\W*(.+))?

用法

See code in use here

import re

a = [
    "Mr: Smith",
    "Mr: Smith; John",
    "Smith",
    "Smith; John"
]
r = r"^(?:([^:]+):\W*)?([^;]+)(?:;\W*(.+))?"

def repl(m):
    return (m.group(1) or "title" ) + "," + m.group(2) + "," + (m.group(3) or "fname")

for s in a:
    print re.sub(r, repl, s)

---

说明

• ^ 在行首断言位置
• (?:([^:]+):\W*)? 可选匹配以下
  • ([^:]+) 捕获除: 之外的任何字符一次或多次进入捕获组 1
  • : 从字面上匹配这个
  • \W*匹配任意数量的非单词字符（从OP的原始代码复制，我假设\s*可以代替）
• ([^;]+) 将除; 之外的任何字符一次或多次分组到捕获组 2 中
• (?:;\W*(.+))? 可选匹配以下
  • ; 逐字匹配
  • \W* 匹配任意数量的非单词字符（复制自 OP 的原始代码，我假设可以使用 \s* 代替）
  • (.+)将任意角色捕获一次或多次进入捕获组 3

鉴于上述正则表达式部分的解释。 re.sub(r, repl, s) 的工作原理如下：

• repl 是对 repl 函数的回调，它返回：
  • group 1 如果它捕获了任何东西，title 否则
  • group 2（它应该总是设置 - 再次使用 OP 的逻辑）
  • group 3 如果它捕获了任何东西，fname 否则

Answer 2

恕我直言，RegEx 在这里太复杂了，您可以使用经典的字符串函数将字符串 item 分割成块。为此，您可以使用partition（或rpartition）。

首先，将您的 item 字符串拆分为“记录”，如下所示：

item = "Mr: Smith\n Mr: Smith; John\n Smith\n Smith; John\n"
records = item.splitlines()
# -> ['Mr,Smith,fname', 'Mr,Smith,John', 'title,Smith,fname', 'title,Smith,John']

然后，您可以创建一个简短的函数来规范每个“记录”。 这是一个例子：

def normalize_record(record):
    # type: (str) -> str
    name, _, fname = record.partition(';')
    title, _, name = name.rpartition(':')
    title = title.strip() or 'title'
    name = name.strip()
    fname = fname.strip() or 'fname'
    return "{0},{1},{2}".format(title, name, fname)

这个函数比RegEx的集合更容易理解。而且，在大多数情况下，它会更快。

为了更好的集成，你可以定义另一个函数来处理每个item：

def normalize(row):
    records = row.splitlines()
    return "\n".join(normalize_record(record) for record in records) + "\n"

演示：

item = "Mr: Smith\n Mr: Smith; John\n Smith\n Smith; John\n"
item = normalize(item)

你得到：

'Mr,Smith,fname\nMr,Smith,John\ntitle,Smith,fname\ntitle,Smith,John\n'