【发布时间】:2019-02-25 02:09:11
【问题描述】:
我最近一直在学习一些 Haskell,我认为词法分析器可能是一个有趣的项目。我使用this ANSI C Yacc grammar 作为指导。
一般的程序结构是:
lex :: [Char] -> Maybe [Token]
lex s =
case tokenize([], s) of
Just (tokens, []) -> Just tokens
_ -> Nothing
tokenize :: ([Token], [Char]) -> Maybe ([Token], [Char])
tokenize 在哪里构建令牌列表。 我无法为tokenize 寻找合适的结构。 例如,要匹配int 这样的关键字,我可以这样写:
tokenize (toks, 'i':'n':'t':' ':rest) = tokenize (toks++[TokenKeyword IntK], rest)
但这似乎是一种糟糕的做事方式。有没有办法对列表中的元素进行模式匹配?我可以创建所有关键字的列表,并尝试将它们作为输入字符串的前缀进行匹配吗?
【问题讨论】:
-
匹配前缀不会让你走得太远,因为有些标记不是预定义的字符串——例如数字或标识符。
-
对,当然前缀匹配不会涵盖所有内容。我说的是保留关键字
-
也许regex-applicative 会满足您的需求。
-
你应该学习如何使用一些 parsec 库。
-
感谢大家的意见。为了进一步澄清我的问题,我想限制我使用解析/正则表达式库的次数。