如何重写一个简单的分词器以使用正则表达式？答案

【问题标题】：How to rewrite a simple tokenizer to use regular expressions?如何重写一个简单的分词器以使用正则表达式？
【发布时间】：2012-08-16 18:52:46
【问题描述】：

这是第一次编写的标记器的优化版本，它工作得相当好。辅助分词器可以解析此函数的输出以创建更具体的分类分词。

def tokenize(source):
    return (token for token in (token.strip() for line
            in source.replace('\r\n', '\n').replace('\r', '\n').split('\n')
            for token in line.split('#', 1)[0].split(';')) if token)

我的问题是：如何简单地用re 模块编写？下面是我无效的尝试。

def tokenize2(string):
    search = re.compile(r'^(.+?)(?:;(.+?))*?(?:#.+)?$', re.MULTILINE)
    for match in search.finditer(string):
        for item in match.groups():
            yield item

编辑：这是我从分词器中寻找的输出类型。解析文本应该很容易。

>>> def tokenize(source):
    return (token for token in (token.strip() for line
            in source.replace('\r\n', '\n').replace('\r', '\n').split('\n')
            for token in line.split('#', 1)[0].split(';')) if token)

>>> for token in tokenize('''\
a = 1 + 2; b = a - 3 # create zero in b
c = b * 4; d = 5 / c # trigger div error

e = (6 + 7) * 8
# try a boolean operation
f = 0 and 1 or 2
a; b; c; e; f'''):
    print(repr(token))


'a = 1 + 2'
'b = a - 3 '
'c = b * 4'
'd = 5 / c '
'e = (6 + 7) * 8'
'f = 0 and 1 or 2'
'a'
'b'
'c'
'e'
'f'
>>>

【问题讨论】：

会在生成器理解结束时将正则表达式匹配到if 语句吗？
不，问题之一是像a;b;c 这样的语句只返回('a', 'c')，而a#b 返回('a', None)。

标签： python regex rewrite tokenize lexer

【解决方案1】：

我可能会离开这里-

>>> def tokenize(source):
...     search = re.compile(r'^(.+?)(?:;(.+?))*?(?:#.+)?$', re.MULTILINE)
...     return (token.strip() for line in source.split('\n') if search.match(line)
...                   for token in line.split('#', 1)[0].split(';') if token)
... 
>>> 
>>> 
>>> for token in tokenize('''\
... a = 1 + 2; b = a - 3 # create zero in b
... c = b * 4; d = 5 / c # trigger div error
... 
... e = (6 + 7) * 8
... # try a boolean operation
... f = 0 and 1 or 2
... a; b; c; e; f'''):
...     print(repr(token))
... 
'a = 1 + 2'
'b = a - 3'
'c = b * 4'
'd = 5 / c'
'e = (6 + 7) * 8'
'f = 0 and 1 or 2'
'a'
'b'
'c'
'e'
'f'
>>>

如果适用，我会将re.compile 排除在def 范围之外。

【讨论】：

谢谢！我希望在一个可以完成所有标记化工作的正则表达式中得到这一切，但代码运行良好。仍然欢迎其他任何人写lambda source: re.finditer(PATTERN, source, FLAGS) 来定义 PATTERN 和 FLAGS。这将是一次很棒的学习经历。
你不应该.strip()ing返回值吗？

【解决方案2】：

这是基于您的 tokenize2 函数的一个：

def tokenize2(source):
    search = re.compile(r'([^;#\n]+)[;\n]?(?:#.+)?', re.MULTILINE)
    for match in search.finditer(source):
        for item in match.groups():
            yield item

>>> for token in tokenize2('''\
... a = 1 + 2; b = a - 3 # create zero in b
... c = b * 4; d = 5 / c # trigger div error
... 
... e = (6 + 7) * 8
... # try a boolean operation
... f = 0 and 1 or 2
... a; b; c; e; f'''):
...     print(repr(token))
... 
'a = 1 + 2'
' b = a - 3 '
'c = b * 4'
' d = 5 / c '
'e = (6 + 7) * 8'
'f = 0 and 1 or 2'
'a'
' b'
' c'
' e'
' f'
>>>

【讨论】：