FindWithinHorizo​​n 无法匹配

Question

我想在文本文件中查找“$$$$”模式的实例数。以下方法适用于某些文件，但不适用于所有文件。例如，它不适用于以下文件（http://www.hmdb.ca/downloads/structures.zip - 它是一个带有 .sdf 扩展名的压缩文本文件）我不知道为什么？我也试图逃避空格。没有运气。当“$$$$”模式超过 35000 个时，它返回 11。请注意，速度至关重要。因此，我不能使用任何较慢的方法。

public static void countMoleculesInSDF(String fileName)
{
    int tot = 0;
    Scanner scan = null;
    Pattern pat = Pattern.compile("\\$\\$\\$\\$");

    try {  
        File file = new File(fileName);
        scan = new Scanner(file);
        long start = System.nanoTime();
        while (scan.findWithinHorizon(pat, 0) != null) {
            tot++;
        }
        long dur = (System.nanoTime() - start) / 1000000;
        System.out.println("Results found: " + tot + " in " + dur + " msecs");
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        scan.close();
}
}

Answer 1

对于链接文件和您发布的代码，我一直有218 匹配。这当然是不正确的：使用 notepad++ 的计数功能进行验证，该文件应包含 41498 匹配项。所以Scanner（我认为）肯定有问题，并在最后一场比赛完成时开始在其中调试，即当扫描仪告诉没有更多匹配时。这样做我在它的私有方法readInput() 中遇到了一个异常，它不是直接抛出而是保存在一个语言环境变量中。

try {
    n = source.read(buf);
} catch (IOException ioe) {
    lastException = ioe;
    n = -1;
}

这个异常可以使用Scanner#ioException()方法检索：

IOException ioException = scanner.ioException();
if (ioException != null) {
    ioException.printStackTrace();
}

打印这个异常然后显示some input could not be decoded

java.nio.charset.UnmappableCharacterException: Input length = 1
    at java.nio.charset.CoderResult.throwException(CoderResult.java:278)
    at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:338)
    at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:177)
    at java.io.Reader.read(Reader.java:100)
    at java.util.Scanner.readInput(Scanner.java:849)

所以我只是尝试将字符集传递给 Scanner 的构造函数：

scan = new Scanner(file, "utf-8");

它成功了！

Results found: 41498 in 2431 msecs

所以问题是 Scanner 使用了平台的字符集，不适合完全解码您拥有的文件。

故事的寓意：

1. 在处理文本时始终显式传递字符集。
2. 在使用Scanner 时检查IOException。

PS：一些方便的方法来引用字符串以用作正则表达式

Pattern pat = Pattern.compile("\\Q$$$$\\E");

或

Pattern pat = Pattern.compile(Pattern.quote("$$$$"));

Answer 2

这就是我最终要做的...（在您发布答案之前）。这种方法似乎比扫描仪更快。你会建议什么实施？扫描仪还是内存映射？大文件的内存映射会失败吗？不确定..

private static final Charset CHARSET = Charset.forName("ISO-8859-15");
private static final CharsetDecoder DECODER = CHARSET.newDecoder();

public static int getNoOfMoleculesInSDF(String fileName) 
    {   
    int total=0;
    try
    {    
    Pattern endOfMoleculePattern = Pattern.compile("\\$\\$\\$\\$");
    FileInputStream fis = new FileInputStream(fileName);
    FileChannel fc = fis.getChannel();
    int fileSize = (int) fc.size();
    MappedByteBuffer mbb = fc.map(FileChannel.MapMode.READ_ONLY, 0, fileSize);
    CharBuffer cb = DECODER.decode(mbb);
    Matcher matcher = endOfMoleculePattern.matcher(cb);
    while (matcher.find()) {
      total++;
    }
    }
    catch(Exception e)
    {
        LOGGER.error("An error occured while counting molecules in the SD file");
    }
    return total;
    }