-sentenceDelimiter java API 中的换行符

Question

我可以从命令行运行 POS 标记器以将新行保留为

java -classpath stanford-postagger.jar edu.stanford.nlp.tagger.maxent.MaxentTagger -model models/wsj-0-18-bidirectional-distsim.tagger -sentenceDelimiter newline -textFile input.txt > output.txt 

给定参数“-sentenceDelimiter 换行符”。但我想知道如何在使用 API 的 java 程序中进行操作？

我在常见问题中看到，我们可以设置 ssplit.newlineIsSentenceBreak，但不知道如何设置。

感谢任何帮助或建议。

我想单行标记这种句子。

 "what is your name?" he asked.

因为一行可能包含许多句子标记。

非常感谢。 什雷斯塔

Answer 1

您可以使用ssplit.eolonly 属性。根据documentation，它的意思是“只在换行符上分割句子。与'-tokenize.whitespace true'结合使用效果很好，在这种情况下，StanfordCoreNLP 会将输入视为每行一个句子，只在空格上分隔单词。”

props.setProperty("ssplit.eolonly", "true");
pipeline = new StanfordCoreNLP(props);