将英文文本拆分成句子（多行）

Question

我想知道一种将文本分成句子的有效方法。 句子由点+空格分隔

示例文本

 The quick brown fox jumps 
 over the lazy dog. I love eating toasted cheese and tuna sandwiches.

我的算法是这样工作的

Read first line from text file to string
Find what is needed
Write to file

但是，有时半个句子可能会出现在即将到来的行中。

所以我想知道解决这个问题的最佳方法是什么

是的，一个尝试过的谷歌搜索“跨多行搜索”，我不想使用正则表达式

最初我的想法是检查第一行是否以.+ space 结尾，如果没有，则抓取另一行并搜索它。但我有一种感觉，我错过了一些东西。

编辑：抱歉忘了说我是用 C++ 做的

Answer 1

您可以使用累加器之类的东西。

1. Read line
2. Check the last symbols in this line.
3. If last symbols are dot or dot+space
 3.1 Split it and write all strings to output 
 3.2 GOTO 1
ELSE 
  3.3 split the line, write length-1 strings to output
  3.4 Keep last piece in some variable and append next readed line to it.

希望我的想法很清楚。

Answer 2

这是我解决这个问题的方法

void to_sentences()
{
    // Do not skip whitespaces
    std::cin >> std::noskipws;

    char c;
    // Loop until there is no input
    while (std::cin >> c) {
        // Skip new lines
        if (c == '\n')
            continue;

        // Output the character
        std::cout << c;

        // check if there is a dot folowed by space
        // if there add new line
        if (c == '.') {
            std::cin >> c;
            if (c == ' ')
                std::cout << endl;
        }
    }

    // Reset skip whitespaces
    std::cin >> std::skipws;
}

你可以看一下cmets，看看有没有不清楚的地方。

Answer 3

您可以使用std::getline()，与自定义分隔符'。'

#include <sstream>
#include <string>
#include <vector>

auto split_to_sentences(std::string inp)
{
    std::istringstream ss(inp); // make a stream using the string
    std::vector< std::string > sentences; // return value

    while(true) {
        std::string this_sentence;

        std::getline(ss, this_sentence, '.');
        if (this_sentence != "") 
            sentences.push_back(std::move(this_sentence));
        else 
            return sentences;
    }
}

请注意，如果您将输入文本作为流，则可以跳过std::stringstream 步骤，直接将流提供给std::getline，代替ss。

std::move 的使用不是必需的，但可以通过防止复制和删除std::string 的动态部分（在堆上）来提高性能。