【问题标题】:How can I do performance evaluation for aspect-based opinion mining?如何对基于方面的意见挖掘进行性能评估?
【发布时间】:2026-02-15 00:45:01
【问题描述】:

我已经计算了每个方面的一些值,并使用 sentiwordnet 确定了它的极性。

例如,这部电影很棒。这里的电影是一个方面,我使用一些指标来确定它的值,例如电影=1.5677,极性为正。以后如何识别精度和召回率?

【问题讨论】:

    标签: nlp nltk stanford-nlp sentiment-analysis


    【解决方案1】:

    由于您没有离散分类器,因此精确度将是您计算的分数与真实分数的接近程度(例如平方和误差或绝对误差之和会起作用)。如果你有一个离散分类器,你可以只计算正确分类的数量。

    召回率是您能够成功提取的方面的百分比。因此,对于您的示例,您提取了唯一的方面,得分为1.0。如果输入是“披萨和电影很棒”,而您只提取了“电影”,那么您的召回分数将为0.5

    通常您可以将准确率和召回率分数组合成F-Measure,但由于您没有离散分类器,您可能无法使用F-Measure

    【讨论】:

    • 我们如何为此做离散分类器?
    • 你只能有 3 个级别:消极、中立和积极
    • 根据您的记分员的工作方式,您可以定义与每个级别相关的范围
    • 看不懂请详细解释。我使用负面、中性和正面来进行情绪分析的极性识别。但是我们如何才能做到这一点。
    • 我明白了,所以你的方面有分数?这个分数是什么意思/它来自哪里?如果您有一个(aspect, sentiment) 对,那么您可以将召回率计算为提取的方面的百分比。然后,您将获得两个精度分数:a) 提取的方面有多少百分比实际上是方面,b) 情感有多少百分比是正确的。
    【解决方案2】:

    为了在 NLP 中评估您的模型,我们可以使用它:

    Per and R

    F-score and Acuraccy

    1.评估方面提取模型:

    TP: (真阳性) 正确提取的方面数 FP: (假阳性) 被注释但未被算法提取的方面的数量 FN: (假阴性) 未被注释但由算法提取的方面的数量 田纳西州: (真阴性) 算法未标注且未提取的方面数


    2。评估情感分类模型:

    TP: 算法正确计算的情感极性分数的数量 FP: 算法计算错误的情感极性分数的数量 不相关 FN: 未分配情感但由算法计算的方面的数量 TN: 未分配情感且未由算法计算的方面数

    【讨论】: