正则表达式匹配标识符并拒绝包含无效字符的标识符

Question

我正在定义一个正则表达式来匹配我定义的标识符 - 标识符必须以一个字母开头，后跟任意数量的字母、数字和下划线。

我有我当前的正则表达式r'[A-Za-z][A-Za-z0-9_]*'，它工作得很好，除了这样的情况：如果我发送：testid@entifier_，它会返回testid 和entifier_ 的匹配项。我希望它完全拒绝标识符。部分不匹配。

它只是最终将它们分开。

如果不对合法字符使用复杂的前瞻，我该怎么办？

输入很简单：

arg = sys.argv[1]
file = open(arg)
inLines = file.read()
file.close()
tokens = lexer(inLines, tokenFormats)

我定义的正则表达式示例如下：

tokenFormats = [
    (r'[\s\n\t]+', None), #Whitespace
    (r'\/\*(\*(?!\/)|[^*])*\*\/', None), #Comment
    (r'\(', LParent),
    (r'\)', RParent),
    (r'\[', LBracket),
    (r'\]', RBracket),
    (r'\{', LBrace),
    (r'\}', RBrace),
    (r'\,', CommaT),
    (r'(?<="{1}).*?(?=")', STRLITERAL),
    (r'\"', QuoteT),
    (r'\.', PeriodT),
    (r'\-?[0-9]*\.[0-9]+', ValueR),
    (r'\+', AddT),
    (r'-', AddT),
    (r'\|\|', AddT),
    (r';', Semicolon),

我的匹配循环是这样的：

def lexer(input, tokenFormats):
    pos = 0
    tokens = []
    while pos < len(input):
        match = None
        for tokenFormat in tokenFormats:
            pattern, tag = tokenFormat
            regex = re.compile(pattern)
            match = regex.match(input,pos) #Essentially Build Lexeme
            if match:
                lexeme = match.group(0)
                if tag:
                    if tag == Identifier and len(str(lexeme)) > 27: #rough fix to check length. Very hacky
                        sys.stderr.write('Illegal length for identifier: %s\n' % lexeme)
                        break;
                    attr = checkForAttribute(lexeme,tag)
                    token = (lexeme,tag,attr)
                    tokens.append(token)
                    break
                else:
                    break
        if not match:
            sys.stderr.write('Illegal or unknown character: %s\n' % input[pos])
            pos = pos + 1
        else:
            pos = match.end(0)
    return tokens

Answer 1

尝试锚定你的表情：

r'^[A-Za-z][A-Za-z0-9_]*$'

这要求整个标识符与表达式匹配，而不仅仅是其中的一部分，因为您将表达式锚定到字符串的开头和结尾。这可以防止部分字符串匹配。

Answer 2

如果@符号是您唯一关心的问题，试试这个r'[a-zA-Z]@?[a-zA-Z0-9_]+'。

Answer 3

如果您也想允许@，您可以使用以下正则表达式：

r'[A-Za-z][A-Za-z0-9_]*@?[A-Za-z0-9_]*'

已测试： https://regex101.com/r/vlt8qo/3/

但是按照您的问题描述：

我正在定义一个正则表达式来匹配我定义的标识符 - 标识符必须以一个字母开头，后跟任意数量的字母、数字和下划线。

看起来有些不一致，因为 @ 未定义为您的标识符的一部分...

在帖子中进行编辑后：

我已将我的正则表达式调整为 ->

r'(?<=[\(\)\]\[\-=\+\s\n\t,;\|\.\"])[A-Za-z][A-Za-z0-9_]*(?=[\(\)\]\[\-=\+\s\n\t,;\|\.\"])|^[A-Za-z][A-Za-z0-9_]*(?=[\(\)\]\[\-=\+\s\n\t,;\|\.\"])'

并在几个模式上对其进行了测试@

https://regex101.com/r/vlt8qo/5/