如何正确拆分代码字符串

Question

我正在尝试用 Python 为 Java 编写一个基本的词法分析器。我现在面临的问题是将一行字符串拆分为单词/标记。

示例：

if (x < 3)
{
    x = 3;
}
else
{
    x = 0;
}

我希望它返回这样的列表：

["if", "(", "x", "<", "3", ")", ...

但我的代码正在返回

["if", "(x", "<", "3)"]

我的代码：

for line in code.readlines():
    for word in line.split():
        print word

我搜索了一个解决方案，但只找到了使用正则表达式的解决方案，有没有办法在没有正则表达式的情况下做到这一点？因为我不知道如何使用它们，而且我现在没有足够的时间来学习它......

任何帮助将不胜感激...

Answer 1

Python 字符串.split() 函数，拆分默认由空格分隔的字符串，并返回一个包含任何不带空格的混合字符的列表。我的简单建议是，在使用 .split() 函数之前，将符号字符替换为新的两侧空格符号：

for line in code.readlines():
    for sign in '({[<+-=*/%;>]})':
        line = line.replace(sign, ' %s ' % sign)
    for word in line.split():
        print word