使用朴素贝叶斯分类来识别 Twitter 用户的性别 [关闭]答案

【问题标题】：Using Naive Bayes Classification to Identity a Twitter User's Gender [closed]使用朴素贝叶斯分类来识别 Twitter 用户的性别 [关闭]
【发布时间】：2013-08-18 03:31:34
【问题描述】：

我参与了学校的一个项目，到目前为止这个项目很有趣，而且变得更有趣了。我拥有大约 600,000 条推文（每条都包含网名、地理位置、文本等），我的目标是尝试将每个用户分类为男性或女性。现在使用 Twitter4J，我可以得到用户的全名、朋友数量、转发推文等。所以我想知道结合查看用户名和进行文本分析是否是一个可能的答案。我原本以为我可以把它做成一个基于规则的分类器，我可以先查看用户的姓名，然后分析他们的文本并尝试得出 M 或 F 的结论。我猜我在使用诸如此类的东西时会遇到麻烦朴素贝叶斯，因为我没有真正的真值？

还有名字，我会查一些字典来解释这个名字是男性还是女性。我知道有些情况很难说，但这就是为什么我也会查看他们的推文文本。我也忘了提；有了这 600,000 条推文，我每个用户至少有两条推文可供我使用。

任何关于用户性别分类的想法或意见将不胜感激！我在这方面没有大量经验，我希望学习任何我能掌握的东西。

【问题讨论】：

标签： twitter machine-learning classification text-mining

【解决方案1】：

我猜我在使用诸如朴素贝叶斯之类的东西时会遇到麻烦，因为我没有真正的真值？

任何监督学习算法，例如朴素贝叶斯，都需要准备训练集。如果没有某些数据的实际性别，您将无法建立这样的模型。另一方面，如果你有一些规则库系统（比如基于用户名的系统），你可以尝试一种半监督的方法。使用基于规则的系统，您可以为数据创建一些标签，假设您的基于规则的分类器是 RC 并且可以回答“男性”、“女性”、“不知道”，您可以为您的数据创建标签数据X 以自然的方式使用RC：

X_m = { x in X : RC(x)="Male" }
X_f = { x in X : RC(x)="Female" }

完成后，您可以使用所有数据除了用于创建RC 的数据为监督学习模型创建一个训练集 - 所以在这种情况下 - 用户名（我假设，RC 回答“男性”或“女性”，前提是它完全“确定”）。因此，您将训练一个分类器，该分类器将尝试从所有其他数据（如使用的单词、位置等）中概括性别概念。让我们称之为SC。之后，您可以简单地创建一个“复杂”分类器：

C(x) = "Male" iff RC(x)= Male" or 
                  (RC(x)="Do not know" && SC(x)="Male")
       "Female" iff RC(x)= Female" or 
                    (RC(x)="Do not know" && SC(x)="Female")

这样，您一方面可以以基于规则的方式使用最有价值的信息（用户名），同时在“困难案例”中利用监督学习的力量，同时又不具备“基本事实”第一名。

【讨论】：

非常感谢。我将继续我关于开发基于规则的标签/分类方法的想法。我只是想在某种程度上确保我的想法不会出现。
我已经实现了你在这里提到的一些东西。 github.com/muatik/genderizer

【解决方案2】：

您需要开发一个连接姓名和性别的词汇表。
然后您必须为每条推文定义特征。
终于可以使用 weka (java)、Matlab、Python 来构建学习集了。

主要问题：

您的语言？在意大利语中从名字中识别性别很容易（-a 女性，-o 男性 [除了 Andrea，Luca]）或在这里查看Does anyone know of a good library for mapping a person's name to his or her gender?
第二个问题有点复杂，您需要一个语义词典，或者您只分析推文的目的地 (#to) 或 url 或图像的存在

【讨论】：