【发布时间】：2019-01-18 18:35:42
【问题描述】：
在使用DCG 解析一个 3 GB 的大文件时，效率很重要。
我的词法分析器的当前版本主要使用或谓词;/2，但我读到索引可以提供帮助。
Indexing 是一种用于快速选择候选子句的技术 特定目标的谓词。在大多数 Prolog 系统中，索引是 （仅）在头部的第一个参数上完成。如果这个论点是 用仿函数实例化为原子、整数、浮点数或复合项， 散列用于快速选择第一个参数所在的所有子句 可以与目标的第一个参数统一。 SWI-Prolog 支持 即时和多参数索引。见2.18部分。
有人可以举一个使用索引进行词法分析的例子，并可能解释它如何提高效率吗？
详情
注意：在将源代码处理成这个问题之前，我更改了一些名称。如果您发现错误，请随时在此处编辑或给我留言，我会很乐意修复它。
目前我的词法分析器/标记器（基于 mzapotoczny/prolog-interpreterparser.pl）是这个
% N.B.
% Since the lexer uses "" for values, the double_quotes flag has to be set to `chars`.
% If double_quotes flag is set to `code`, the the values with "" will not be matched.
:- use_module(library(pio)).
:- use_module(library(dcg/basics)).
:- set_prolog_flag(double_quotes,chars).
lexer(Tokens) -->
white_space,
(
( ":", !, { Token = tokColon }
; "(", !, { Token = tokLParen }
; ")", !, { Token = tokRParen }
; "{", !, { Token = tokLMusta}
; "}", !, { Token = tokRMusta}
; "\\", !, { Token = tokSlash}
; "->", !, { Token = tokImpl}
; "+", !, { Token = tokPlus }
; "-", !, { Token = tokMinus }
; "*", !, { Token = tokTimes }
; "=", !, { Token = tokEqual }
; "<", !, { Token = tokLt }
; ">", !, { Token = tokGt }
; "_", !, { Token = tokUnderscore }
; ".", !, { Token = tokPeriod }
; "/", !, { Token = tokForwardSlash }
; ",", !, { Token = tokComma }
; ";", !, { Token = tokSemicolon }
; digit(D), !,
number(D, N),
{ Token = tokNumber(N) }
; letter(L), !, identifier(L, Id),
{ member((Id, Token), [ (div, tokDiv),
(mod, tokMod),
(where, tokWhere)]),
!
; Token = tokVar(Id)
}
; [_],
{ Token = tokUnknown }
),
!,
{ Tokens = [Token | TokList] },
lexer(TokList)
; [],
{ Tokens = [] }
).
white_space -->
[Char], { code_type(Char, space) }, !, white_space.
white_space -->
"--", whole_line, !, white_space.
white_space -->
[].
whole_line --> "\n", !.
whole_line --> [_], whole_line.
digit(D) -->
[D],
{ code_type(D, digit) }.
digits([D|T]) -->
digit(D),
!,
digits(T).
digits([]) -->
[].
number(D, N) -->
digits(Ds),
{ number_chars(N, [D|Ds]) }.
letter(L) -->
[L], { code_type(L, alpha) }.
alphanum([A|T]) -->
[A], { code_type(A, alnum) }, !, alphanum(T).
alphanum([]) -->
[].
alphanum([]).
alphanum([H|T]) :- code_type(H, alpha), alphanum(T).
identifier(L, Id) -->
alphanum(As),
{ atom_codes(Id, [L|As]) }.
这里有一些用于开发和测试的辅助谓词。
read_file_for_lexing_and_user_review(Path) :-
open(Path,read,Input),
read_input_for_user_review(Input), !,
close(Input).
read_file_for_lexing_and_performance(Path,Limit) :-
open(Path,read,Input),
read_input_for_performance(Input,0,Limit), !,
close(Input).
read_input(Input) :-
at_end_of_stream(Input).
read_input(Input) :-
\+ at_end_of_stream(Input),
read_string(Input, "\n", "\r\t ", _, Line),
lex_line(Line),
read_input(Input).
read_input_for_user_review(Input) :-
at_end_of_stream(Input).
read_input_for_user_review(Input) :-
\+ at_end_of_stream(Input),
read_string(Input, "\n", "\r\t ", _, Line),
lex_line_for_user_review(Line),
nl,
print('Press spacebar to continue or any other key to exit: '),
get_single_char(Key),
process_user_continue_or_exit_key(Key,Input).
read_input_for_performance(Input,Count,Limit) :-
Count >= Limit.
read_input_for_performance(Input,_,_) :-
at_end_of_stream(Input).
read_input_for_performance(Input,Count0,Limit) :-
% print(Count0),
\+ at_end_of_stream(Input),
read_string(Input, "\n", "\r\t ", _, Line),
lex_line(Line),
Count is Count0 + 1,
read_input_for_performance(Input,Count,Limit).
process_user_continue_or_exit_key(32,Input) :- % space bar
nl, nl,
read_input_for_user_review(Input).
process_user_continue_or_exit_key(Key) :-
Key \= 32.
lex_line_for_user_review(Line) :-
lex_line(Line,TokList),
print(Line),
nl,
print(TokList),
nl.
lex_line(Line,TokList) :-
string_chars(Line,Code_line),
phrase(lexer(TokList),Code_line).
lex_line(Line) :-
string_chars(Line,Code_line),
phrase(lexer(TokList),Code_line).
read_user_input_for_lexing_and_user_review :-
print('Enter a line to parse or just Enter to exit: '),
nl,
read_string(user, "\n", "\r", _, String),
nl,
lex_line_for_user_review(String),
nl,
continue_user_input_for_lexing_and_user_review(String).
continue_user_input_for_lexing_and_user_review(String) :-
string_length(String,N),
N > 0,
read_user_input_for_lexing_and_user_review.
continue_user_input_for_lexing_and_user_review(String) :-
string_length(String,0).
read_user_input_for_lexing_and_user_review/0 允许用户在终端输入字符串以进行词法分析并查看令牌。
read_file_for_lexing_and_user_review/1 读取文件以进行词法分析，并一次一行地查看每一行的标记。
read_file_for_lexing_and_performance/2 读取一个文件进行词法分析，对 lex 的行数有限制。这用于收集基本性能统计信息以衡量效率。旨在与time/1 一起使用。
【问题讨论】：
-
感兴趣的：Choice points and Redo's in Prolog - 索引如何影响 SWI-Prolog 跟踪器。
-
感兴趣的：How is a integer created as a character code constant? - 解释 Prolog 字符代码常量的使用，例如
0'\n -
感兴趣的：Stack overflow in Prolog DCG grammar rule: how to handle large lists efficiently or lazily 这是一个关于使用 DCG 进行解析的问答，答案有一个关于利用索引的部分。
-
感兴趣的：GitHub SWI-Prolog swipl-devel/src/Tests/core/test_dcg.pl
-
感兴趣的：GitHub SWI-Prolog swipl-devel/src/Unicode/derived_core_properties.pl - 使用 DCG 进行解析的真实示例。
标签： performance prolog tokenize lexical-analysis