文本词干后词频不准确

Question

感谢您花时间阅读我的帖子。新手在这里，这是我的第一个带有一些示例数据的 R 脚本。

library(tm)
library(hunspell)
library(stringr)

docs <- VCorpus(VectorSource('He is a nice player, She could be a better player. Playing basketball is fun. Well played! We could have played better. Wish we had better players!'))

input <- strsplit(as.character(docs), " ")
input <- unlist(input)
input <- hunspell_stem(input)
input <- word(input,-1)

input <- VCorpus(VectorSource(input))
docs <- input

docs <- tm_map(docs, content_transformer(tolower))
docs <- tm_map(docs, removeWords, stopwords("english"))
docs <- tm_map(docs, removePunctuation)
docs <- tm_map(docs, stripWhitespace)

dtm <- TermDocumentMatrix(docs)
m <- as.matrix(dtm)
sort(rowSums(m),decreasing=TRUE)

这将返回以下结果：

character0 48 更好 3 打 3 篮球 1 描述 1
有趣 1 头脑 1 小时 1 语言 1 元 1 分钟 1 不错 1 起源 1 井 1 愿望 1 年 1

预期结果：

更好 3 玩 3 篮球 1 乐趣 1 语言 1 好 1 好 1 希望1

不确定这些词的来源（字符 0、描述、元、语言等）以及是否有办法摆脱它们？

基本上，我要做的是使用 hunspell 对语料库（数据源 sql server 表）应用词干提取，然后在词云中显示它们。任何帮助，将不胜感激。广东

Answer 1

这就是您评论中的示例失败的原因：

library(tm) 
library(hunspell) 
hunspell_stem(strsplit('Thanks lukeA for your help!', "\\W")[[1]])
# [[1]]
# [1] "thank"
# 
# [[2]]
# character(0)
# 
# [[3]]
# [1] "for"
# 
# [[4]]
# [1] "your"
# 
# [[5]]
# [1] "help"

这是使它工作的一种方法：

docs <- VCorpus(VectorSource('Thanks lukeA for your help!')) 
myStem <- function(x) { 
  res <- hunspell_stem(x)
  idx <- which(lengths(res)==0)
  if (length(idx)>0)
    res[idx] <- x[idx]
  sapply(res, tail, 1) 
}
dtm <- TermDocumentMatrix(docs, control = list(stemming = myStem)) 
m <- as.matrix(dtm) 
sort(rowSums(m),decreasing=TRUE)
  # for help! lukea thank  your 
  #   1     1     1     1     1 

如果没有词干，这将返回原始标记，如果有多个词干，则返回最后一个词干。