r : 为什么 removeSparseTerms() 没有做任何事情？

Question

为什么 removeSparseTerms() 没有删除任何术语？应删除单次出现的单词（等）。
(r V. 3.2)

> docs <- tm_map(docs, stemDocument)
> dtm <- DocumentTermMatrix(docs)
> freq <- colSums(as.matrix(dtm))
> ord <- order(freq)
> freq[tail(ord)]
one experi   will   can lucid dream
287   312   363   452   1018   2413
> freq[head(ord)]
abbey abdomin   abdu abraham absent   abus
1       1       1       1       1       1
> dim(dtm)
[1]   1 5265
> dtms <- removeSparseTerms(dtm, 0.1)
> dim(dtms)
[1]   1 5265
> dtms <- removeSparseTerms(dtm, 0.001)
> dim(dtms)
[1]   1 5265
> dtms <- removeSparseTerms(dtm, 0.9)
> dim(dtms)
[1]   1 5265
> 

（语料库是单个文档，一本书的文本版本。）

Answer 1

原因是您只有一个文档，因此稀疏度不会随着您更改阈值而改变。运行这些行，你会看到效果：

data("crude")
tdm <- TermDocumentMatrix(crude)
dtm <- DocumentTermMatrix(crude[1]) # pick only the first article (document, like your chapter)
dim(dtm)
(twenty <- removeSparseTerms(dtm, 0.2))
(forty <- removeSparseTerms(dtm, 0.4))
(sixty <- removeSparseTerms(dtm, 0.6))