根据数据库文件确定英文词性标注

Question

我有点困惑如何确定英语中的词性标记。在这种情况下，我假设英语中的一个单词有一种类型，例如单词“book”被识别为 NOUN，而不是 VERB。我想根据时态识别英语句子。例如，“I sent the book”被识别为过去时。

说明：

我有许多数据库 (*.txt) 文件：NounList.txt、verbList.txt、adjectiveList.txt、adverbList.txt、connectionList.txt、prepositionList.txt、articleList.txt。如果数据库中有输入词，我假设可以推断出这些词的类型。但是，如何开始在数据库中查找呢？例如，“I sent the book”：如何开始在数据库中搜索每个单词，“I”作为名词，“sent”作为动词，“the”作为文章，“book”作为名词？有比在每个数据库中搜索每个单词更好的方法吗？我怀疑每个数据库都有独特的元素。

我在这里附上我的观点。

private List<string> ParseInput(String allInput)
{
    List<string> listSentence = new List<string>();

    char[] delimiter = ".?!;".ToCharArray();
    var sentences = allInput.Split(delimiter, StringSplitOptions.RemoveEmptyEntries).Select(s => s.Trim());

    foreach (var s in sentences)
        listSentence.Add(s);

        return listSentence;
}

private void tenseReviewMenu_Click(object sender, EventArgs e)
    {
        string allInput = rtbInput.Text;

        List<string> listWord = new List<string>();
        List<string> listSentence = new List<string>();

        HashSet<string> nounList = new HashSet<string>(getDBList("nounList.txt"));
        HashSet<string> verbList = new HashSet<string>(getDBList("verbList.txt"));
        HashSet<string> adjectiveList = new HashSet<string>(getDBList("adjectiveList.txt"));
        HashSet<string> adverbList = new HashSet<string>(getDBList("adverbList.txt"));

        char[] separator = new char[] { ' ', '\t', '\n', ',' etc... };         

        listSentence = ParseInput(allInput);

        foreach (string sentence in listSentence)
        {
            foreach (string word in sentence.Split(separator))
                if (word.Trim() != "")
                    listWord.Add(word);               
        }

        string testPOS = "";

        foreach (string word in listWord)
        {
            if (nounList.Contains(word.ToLowerInvariant()))
                testPOS += "noun ";
            else if (verbList.Contains(word.ToLowerInvariant()))
                testPOS += "verb ";
            else if (adjectiveList.Contains(word.ToLowerInvariant()))
                testPOS += "adj ";
            else if (adverbList.Contains(word.ToLowerInvariant()))
                testPOS += "adv ";

        }
        tbTest.Text = testPOS;
    }

POS 标记是我在作业中的次要解释。所以我使用一种简单的方法来确定基于数据库的 POS 标记。但是，如果有更简单的方法：易于使用、易于理解、易于获取伪代码、易于设计……确定 POS 标记，请告诉我。

Answer 1

我希望我在下面提供的伪代码对您有所帮助。如果我有时间，我也会为你写一些代码。

这个问题可以通过以下步骤解决：

1. 创建一个包含所有英语常用句型的词典。例如，主语+动词是英语模式，所有像I sleep、Dog barked和Ship will arrive这样的句子都匹配S-V模式。您可以找到最常见的英语模式列表here。请注意，您可能需要在一段时间内不断修改此词典以提高程序的准确性。

2. 尝试将输入句子与您在上面创建的字典中的模式之一匹配，例如，如果输入句子是Snakes, unlike elephants, are venomous.，那么您的代码必须能够找到与该模式匹配的内容： Subject，不像 AnotherSubject, Verb Object 或 S-,unlike-S`-, -V-O。要成功执行此步骤，您可能需要编写能够很好地识别 Structure Markers 的代码，例如此例句中的单词 unlike。

3. 当您在模式词典中找到与输入句子匹配的内容后，您可以轻松地为句子中的每个单词分配一个标签。例如，在我们的句子中，单词Snakes 将被标记为主语，就像单词elephants 一样，单词are 将被标记为动词，最后venomous这个词将被标记为一个对象。

4. 为句子中的每个单词分配一个唯一标签后，您可以在已有的相应文本文件中查找该单词并确定您的句子是否有效。

5. 如果你的句子不匹配任何句型，那么你有两种选择：

   a) 如果这个无法识别的句子是有效的英文句子，则将其添加到您的模式词典中。

   b) 或者，将输入句子作为无效的英文句子丢弃。

您想要达到的目标最好使用机器学习技术来解决，这样系统就可以学习任何新模式。因此，您可能希望包含一个培训系统，该系统将在找到与任何现有模式都不匹配的有效英语句子时将新模式添加到您的模式字典中。我没有过多考虑如何做到这一点，但现在，您可以手动修改您的句型字典。

我很高兴听到您对这个伪代码的意见，并且可以进一步集思广益。