【发布时间】：2016-10-31 12:49:20
【问题描述】：
我一直在研究拼写校正模型，并试图找到一些评估指标。如果您认为假阴性试图修复一个已经正确的单词，而假阳性则缺少错误，那么您可以计算精度、召回率和准确性。但是，这些指标并没有说明校正模型的质量（无论它是否成功地将错误的单词纠正为用户想要输入的内容），并且只评估拼写检查能力而不是校正能力。
【问题讨论】：
标签： nlp spell-checking spelling misspelling
【发布时间】：2016-10-31 12:49:20
【问题描述】：
在许多语言中，最困难的部分是在众多候选者中选择正确的替代品。例如，lck 应该是 lack、lick、lock、ick 还是 luck？ （当然，断章取义，你是看不出来的！）
因此，您正在寻找的指标是准确更正的数量。您未尝试修复的错误以及您错误替换的正确单词将被您发现但未准确纠正的错误所淹没，尽管您可能仍想分别统计这些情况。
如果您的校正候选排名算法是独立的，您可以通过单独评估它来显着简化该过程。
【讨论】：
-
所以我可以测量成功纠正错误的百分比？为了衡量校正的质量，我会将什么分配为假阴性和假阳性？
-
假阴性和假阳性在这里没有多大意义，恕我直言；它们是分类测量，而不是校正测量。快速谷歌搜索出现了Estimation of quality of service in spelling correction using Kullback–Leibler divergence (Varol & Bayrak 2011)，但我不知道这是否有帮助。 （我注意到他们的摘要中有一个标点错误，tee hee。）
-
如果你想把它压缩到一个 FP/FN 模型中，可能将系统没有尝试纠正的错误视为假阴性，并将任何没有产生正确的纠正视为假阳性结果。那么，真正的否定是没有改变的正确拼写的单词，而真正的肯定是成功的更正。 （这颠倒了你对“积极”和“消极”的意思，但这对我来说更有意义。）
-
我想我可以把它放到一个 FP/FN 模型中，但我觉得这样做会得到不能很好地代表校正器的结果。也许对拼写错误的单词进行整体准确度和准确度的校正？
-
从长远来看，单个数字或一对数字可能没有用处，尤其是在它们不是标准度量的情况下。划分为错误检测的准确性和校正候选生成的准确性可能是要走的路。