StreamTokenizer 将 001_to_003 拆分为两个令牌；我怎样才能防止它这样做？答案

【问题标题】：StreamTokenizer splits up 001_to_003 into two tokens; how can I prevent it from doing so?StreamTokenizer 将 001_to_003 拆分为两个令牌；我怎样才能防止它这样做？
【发布时间】：2011-05-09 05:55:55
【问题描述】：

Java 的 StreamTokenizer 在识别数字方面似乎过于贪心。配置选项相对较少，我还没有找到一种方法让它做我想做的事。以下测试通过，IMO 在实现中显示了一个错误；我真正想要的是将第二个标记标识为单词“20001_to_30000”。有任何想法吗？

public void testBrokenTokenizer()
        throws Exception
{
    final String query = "foo_bah 20001_to_30000";

    StreamTokenizer tok = new StreamTokenizer(new StringReader(query));
    tok.wordChars('_', '_');       
    assertEquals(tok.nextToken(), StreamTokenizer.TT_WORD);
    assertEquals(tok.sval, "foo_bah");
    assertEquals(tok.nextToken(), StreamTokenizer.TT_NUMBER);
    assertEquals(tok.nval, 20001.0);
    assertEquals(tok.nextToken(), StreamTokenizer.TT_WORD);
    assertEquals(tok.sval, "_to_30000");
}

FWIW 我可以改用 StringTokenizer，但它需要大量重构。

【问题讨论】：

我怀疑这是大多数语言禁止标识符中的第一个字符为数字的原因...

标签： java string tokenize string-parsing

【解决方案1】：

IMO，最好的解决方案是使用 Scanner，但如果您想强制古老的 StreamTokenizer 为您工作，请尝试以下操作：

import java.util.regex.*;
...

final String query = "foo_bah 20001_to_30000\n2.001 this is line number 2 blargh";

StreamTokenizer tok = new StreamTokenizer(new StringReader(query));

// recreate standard syntax table
tok.resetSyntax();
tok.whitespaceChars('\u0000', '\u0020');
tok.wordChars('a', 'z');
tok.wordChars('A', 'Z');
tok.wordChars('\u00A0', '\u00FF');
tok.commentChar('/');
tok.quoteChar('\'');
tok.quoteChar('"');
tok.eolIsSignificant(false);
tok.slashSlashComments(false);
tok.slashStarComments(false);
//tok.parseNumbers();  // this WOULD be part of the standard syntax

// syntax additions
tok.wordChars('0', '9');
tok.wordChars('.', '.');
tok.wordChars('_', '_');

// create regex to verify numeric conversion in order to avoid having
// to catch NumberFormatException errors from Double.parseDouble()
Pattern double_regex = Pattern.compile("[-+]?[0-9]*\\.?[0-9]+([eE][-+]?[0-9]+)?");

try {
    int type = StreamTokenizer.TT_WORD;

    while (type != StreamTokenizer.TT_EOF) {
        type = tok.nextToken();

        if (type == StreamTokenizer.TT_WORD) {
            String str = tok.sval;
            Matcher regex_match = double_regex.matcher(str);

            if (regex_match.matches()) {  // NUMBER
                double val = Double.parseDouble(str);
                System.out.println("double = " + val);
            }
            else {  // WORD
                System.out.println("string = " + str);
            }
        }
    }
}
catch (IOException err) {
    err.printStackTrace();
}

本质上，您正在从 StreamTokenizer 卸载数值的标记化。正则表达式匹配是为了避免依赖 NumericFormatException 来告诉您 Double.parseDouble() 对给定的令牌不起作用。

【讨论】：