【问题标题】:Learning names of spammers [closed]学习垃圾邮件发送者的名字[关闭]
【发布时间】:2012-09-03 14:09:50
【问题描述】:

目前,一些垃圾邮件浪潮正在互联网上泛滥,尤其是在体育赛事发生时。

由于我强烈怀疑垃圾邮件发送者的用户名不是计算机生成的,我认为尝试以某种方式以编程方式学习垃圾邮件发送者名称可能会很有趣。

用户名应介于 2 到 15 个字符之间,以字母开头,并且只能包含字母、数字、_-

一个示例名称列表将是

riazsports0171
maya34444
thelmaeatons
tigran777
newlive100
darbeshbaba
litondina10
nithuhasan
newlive100
bankuali
lldztwydni554
monomala505
nasiruddin1500
lldztwydni554
ariful3032
nazmulhasan

我只有相当基本的算法知识(来自大学)。我的问题是,我可以使用哪些机器学习算法和/或字符串指标来预测任意用户名是否可能是垃圾邮件发送者。 我考虑过使用余弦字符串相似度,因为它相当简单。

【问题讨论】:

  • 您需要有一个名称数据集,其中每个名称都被标记为是否属于垃圾邮件发送者。
  • 按照您的逻辑,“user3001”可能是垃圾邮件发送者
  • 您还有什么其他信息?!内容还是只有这些名字?!我同意字符串相似度是最简单也是最好的选择!
  • 抓取内容会非常繁琐,我宁愿只处理名称。我得到了更多这些垃圾邮件发送者的用户名,我只是想提供一个示例它的外观。顺便说一句,我不是垃圾邮件发送者:)

标签: string algorithm machine-learning similarity feature-engineering


【解决方案1】:

有趣。但我不认为 字符串相似度 算法是最好的解决方案。

我会尝试从名称中提取特征,并使用 classification algorithm。与其他分类算法相比,SVM 通常提供非常好的结果,但也有其他算法(例如:Naive BayesDecision TreeKNN)各有优缺点。

棘手的部分是提取特征。你应该有创意。一些选项是:位数,连续字母的数量,连续辅音的数量,大写的使用,大写的正确使用,匹配某个正则表达式,...(您也可以使用字符串以外的其他功能,例如此用户向您发送的消息数量,....)

接下来,您需要创建一个训练集。此训练集将包含垃圾邮件发送者和非垃圾邮件发送者用户名,这些用户名手动标记为垃圾邮件发送者或非垃圾邮件发送者。

将训练集提供给您选择的算法,它将创建一个分类器,您可以使用它来预测新用户是否是垃圾邮件发送者。

您可以在数据上使用cross validation评估每个算法的有效性

【讨论】:

  • 这应该给我一些好的开始,非常感谢!
猜你喜欢
  • 2012-12-10
  • 1970-01-01
  • 1970-01-01
  • 2013-03-08
  • 2012-09-11
  • 2012-09-04
  • 2011-06-04
  • 2014-04-21
  • 1970-01-01
相关资源
最近更新 更多