【发布时间】:2012-06-15 23:53:27
【问题描述】:
我正在做一个项目,我需要对网页进行主题和功能分类,如 Qi 和 Davison 在Web Page Classification: Features and Algorithms 中所述。例如,我可能希望能够判断特定页面是否与音乐有关,以及它是集合(链接列表)还是主题(关于集合中一个特定链接的数据)页面。对于主题分类,我使用DMOZ Directory 数据的子集通过抓取标有特定主题的站点作为正例和负例来生成一组训练示例。
我不太清楚适用于功能分类的方法。本质上,我需要一种方法来找到一组按类型标记的 url:集合页面、主题页面等。手动生成一组可能不可行,我希望能够在网页更改时更新分类器有点定期。关于我可以找到用于我的训练集的标记数据的领域有什么想法吗?
【问题讨论】:
标签: machine-learning classification webpage