使用 LDA 进行主题建模之前的降维答案

【问题标题】：Dimensionality Reduction before Topic Modeling with LDA使用 LDA 进行主题建模之前的降维
【发布时间】：2020-09-10 03:50:47
【问题描述】：

我想用 LDA 做一些主题建模，但不幸的是我的数据非常稀疏，结果并不令人满意。因为我仍然想尝试用 LDA 解决我的任务（即使可能有更好的可能性），所以我正在考虑在 LDA 之前使用某种降维。

我知道 LDA 用于主题建模但也可以用于降维，那么在使用 LDA 之前尝试降维是否有意义？如果是，我可以使用什么方法？我认为使用 LSI 或 SVD 之类的东西没有意义。

【问题讨论】：

【解决方案1】：

正如您所指出的，LDA 可以被视为一种降维技术。因此，我会说它没有真正的意义。

但是，LDA 通常与 tf/idf 和停用词过滤结合使用。这允许删除过于稀疏和无意义的单词。

【讨论】：

谢谢！我确实同意通过停用词过滤以及诸如成为特征的单词的最小/最大出现次数之类的东西有助于过滤稀疏性。但是 tf/idf 如何帮助解决稀疏问题？我会说它只会改变价值观。