【问题标题】:NLP short text marking approachNLP短文本标记方法
【发布时间】:2017-07-03 10:55:47
【问题描述】:

我正在开展一个项目,为一家教育机构评估简答题。这是我需要做的:

老师有一个示例答案(我们事先知道)。 示例答案有 3-4 个关键字。 学生输入答案。应用程序应评估学生的答案如下:

  • 这些关键字的上下文含义应以与示例答案相同/相似的关系出现在答案中。
  • 要求学生使用关键字的同义词。
  • 同义词的正确关系也是预期的。
  • 不允许学生使用相同的关键字(如果没有标记 他们在回答中使用了关键字)。
  • 答案不超过 2-3 句话。

有人可以指导我什么是好的方法吗?寻找一些起点来实现这一点。我熟悉 NLP 的基础知识,但没有使用过很多可用的工具。

【问题讨论】:

    标签: nlp


    【解决方案1】:

    应用语言学有一个名为"computer assisted language learning" (often CALL for short) 的子学科,我不太熟悉,但可能有一些你想利用的见解。它更多的是关于自动评分等,例如,非英语母语者的学生论文,但我怀疑你可能想熟悉 CALL 研究。

    这是一个非常困难的问题,并不是一个普遍解决的问题。最后,你会需要一个人参与——也就是说,系统会分配成绩,而教师需要检查他们是否同意。 NLP都不够好,对语言和知识的理解不够清晰,无法自动全面准确地了解文本的含义。

    考虑到这一点,我会尽可能多地获取教师答案以及正确和错误学生答案的实际示例。出于两个原因,您需要某种黄金标准数据:了解您的系统的工作情况(评估)以及了解什么是正确和错误的答案(洞察力)。没有实际的例子,你不可能有一个工作系统;有了实际的例子,它仍然会很困难,但现在你知道你做得有多好了。

    作为第一步,不要做任何花哨的事情,而是做a tf.idf weighted bag-of-words model。使用余弦距离来比较老师/学生的答案,看看你可以根据余弦距离预测正确或错误。当然,这并不完美,但它会给你一个很好的基准来比较你的其他结果。

    接下来您可以尝试用某种 word2vec (W2V) 系统替换 tf.idf 词包。 W2V 有助于解决一些同义词问题,但您需要大量特定于流派的文本才能使其正常工作,我怀疑使用此应用程序是否足够。

    从那里开始,我开始使用解析器并尝试使用单词之间的关系来获得预期的含义。不过,这很好。首先获取该数据。

    【讨论】:

      猜你喜欢
      • 2014-08-10
      • 2015-03-20
      • 2012-09-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-11-13
      相关资源
      最近更新 更多