R：从字符向量中提取受控词汇

Question

假设文本数据如下所示：

txt <- c("peter likes red", "mary likes green", "bob likes blue")

我想将这些字符串简化为这个受控词汇表中的单词：

voc <- c("peter", "mary", "bob", "red", "green", "blue")

结果应该是一个向量：

c("peter red", "mary green", "bob blue")

可以使用tm 库，但这只会给我一个密集的文档术语矩阵：

foo <- VCorpus(VectorSource(txt))
inspect(DocumentTermMatrix(foo, list(dictionary = voc)))
Non-/sparse entries: 6/12
Sparsity           : 67%
Maximal term length: 5
Weighting          : term frequency (tf)

    Terms
Docs blue bob green mary peter red
   1    0   0     0    0     1   1
   2    0   0     1    1     0   0
   3    1   1     0    0     0   0

如何获得每个向量元素一个字符串的向量解？

解决方案应该很快。我也是base R的忠实粉丝。

编辑：迄今为止的解决方案比较

根据我的数据，James 的解决方案比 Sotos 的解决方案快四倍。但是当我从length(text) 1k 到 10k 时，内存不足。 Sotos 的解决方案仍然以 10k 的速度运行。

鉴于我的数据有 length(txt) ~1M 和 length(voc) ~5k 我估计 Sotos 的解决方案需要 18 小时才能完成，因为它不会耗尽内存。

没有更快的方法吗？

Answer 1

基本方法是：

apply(sapply(paste0("\\b",voc,"\\b"), function(x) grepl(x,txt)), 1, function(x) paste(voc[x],collapse=" "))
[1] "peter red"  "mary green" "bob blue" 

sapply 部分重新创建您使用 tm 包的成员矩阵，而 apply 迭代其行以从词汇表中提取相关术语以粘贴在一起。

Answer 2

您可以使用stringi

library(stringi)
sapply(stri_extract_all_regex(txt, paste0('\\b', voc, collapse = '|', '\\b')), paste, collapse = ' ')
#[1] "peter red"  "mary green" "bob blue" 

或完整的stringi

stri_paste_list(stri_extract_all_regex(txt, paste0('\\b', voc, collapse = '|', '\\b')), sep = ' ')
#[1] "peter red"  "mary green" "bob blue"