检测 R 中的文本语言

Question

我有一个推文列表，我想只保留英文推文。

我该怎么做？

Answer 1

R 中的一种方法是保留英文单词的文本文件。我有其中几个，其中一个来自http://www.sil.org/linguistics/wordlists/english/。获取 .txt 文件后，您可以使用此文件来匹配每条推文。比如：

lapply(tweets, function(x) EnglishWordComparisonList %in% x)

您希望有一些阈值百分比来确定它是否是英语（我随意选择了 0.06）。

EnglishWordComparisonList<-as.vector(source(path to the list you downloaded above))

Englishinator<-function(tweet, threshold = .06) {
    TWTS <- which((EnglishWordComparisonList %in% tweet)/length(tweet) > threshold)
    tweet[TWTS]
    #or tweet[TWTS,] if the original tweets is a data frame
}

lapply(tweets, Englishinator)

我实际上并没有使用过这个，因为我在研究中使用英语单词列表的方式大不相同，但我认为这会起作用。

Answer 2

还有一个运行良好的 R 包，名为“franc”。虽然它比其他的慢，但我对它的体验比使用 cld2 尤其是 cld3 更好。

Answer 3

上一个答案中的cldr 包在 CRAN 上不再可用，并且可能难以安装。但是，Google（Chromium 的）cld 库现在可以通过其他专用包在 R 中使用，cld2 和 cld3。

在用多种欧洲语言测试了数千条推文之后，我可以说在可用选项中，textcat 是迄今为止最不可靠的。使用textcat，我也经常收到错误地将推文检测为“middle_frisian”、“rumantsch”、“sanskrit”或其他不寻常的语言。它可能与其他类型的文本相对较好，但我认为textcat 对于推文来说非常糟糕。

cld2 似乎总体上还是比cld3 好。如果您想要一种仅包含英文推文的安全方式，您仍然可以同时运行 cld2 和 cld3 并仅保留两者都识别为英文的推文。

这是一个基于 Twitter 搜索的示例，该搜索通常提供多种不同语言的结果，但总是包含一些英文推文。

if (!require("pacman")) install.packages("pacman") # for package manangement
pacman::p_load("tidyverse") 
pacman::p_load("textcat")
pacman::p_load("cld2")
pacman::p_load("cld3")
pacman::p_load("rtweet")

punk <- rtweet::search_tweets(q = "punk") %>% mutate(textcat = textcat(x = text), cld2 = cld2::detect_language(text = text, plain_text = FALSE), cld3 = cld3::detect_language(text = text)) %>% select(text, textcat, cld2, cld3)
View(punk)

# Only English tweets
punk %>% filter(cld2 == "en" & cld3 == "en")

最后，如果这个问题与推文特别相关，我也许应该补充一点：Twitter 通过 API 为推文提供了自己的语言检测，而且它似乎非常准确（可以理解，对于非常短的推文来说不太准确）。因此，如果您运行rtweet::search_tweets(q = "punk")，您将看到生成的 data.frame 包含一个“lang”列。如果您通过 API 获取推文，那么您可能更信任 Twitter 自己的检测系统，而不是上面建议的替代解决方案（对于其他文本仍然有效）。

Answer 4

tl;dr：cld2 是迄今为止最快的（cld3 x22，textcat x118，手工制作解 x252)

这里有很多关于准确性的讨论，这对于推文是可以理解的。但是速度呢？

这是cld2、cld3 和textcat 的基准。

我还加入了一些我写的幼稚函数，它计算文本中停用词的出现次数（使用tm::stopwords）。

我认为对于长文本我可能不需要复杂的算法，并且对多种语言进行测试可能是有害的。最后，我的方法最终是最慢的（很可能是因为打包的方法在 C 中循环。

我把它留在这里，这样我就可以把时间留给那些有相同想法的人。我预计Tyler Rinker 的Englishinator 解决方案也会很慢（仅测试一种语言，但要测试更多的单词和类似的代码）。

detect_from_sw <- function(text,candidates){
  sapply(strsplit(text,'[ [:punct:]]'),function(y)
    names(which.max(sapply(candidates,function(x) sum(tm::stopwords(x) %in% y))))
  )
}

基准

data(reuters,package = "kernlab") # a corpus of articles in english
length(reuters)
# [1] 40
sapply(reuters,nchar)
# [1] 1311  800  511 2350  343  388 3705  604  254  239  632  607  867  240
# [15]  234  172  538  887 2500 1030  538 2681  338  402  563 2825 2800  947
# [29] 2156 2103 2283  604  632  602  642  892 1187  472 1829  367
text <- unlist(reuters)

microbenchmark::microbenchmark(
  textcat = textcat::textcat(text),
  cld2 = cld2::detect_language(text),
  cld3 = cld3::detect_language(text),
  detect_from_sw = detect_from_sw(text,c("english","french","german")),
  times=100)

# Unit: milliseconds
# expr                 min         lq      mean     median         uq         max neval
# textcat        212.37624 222.428824 230.73971 227.248649 232.488500  410.576901   100
# cld2             1.67860   1.824697   1.96115   1.955098   2.034787    2.715161   100
# cld3            42.76642  43.505048  44.07407  43.967939  44.579490   46.604164   100
# detect_from_sw 439.76812 444.873041 494.47524 450.551485 470.322047 2414.874973   100

注意textcat 的不准确之处

我无法评论 cld2 与 cld3 的准确性（@giocomai 声称 cld2 在他的回答中更好），但我确认 textcat 似乎非常不可靠（在几个地方提到了这个页）。除了textcat 分类为西班牙语的这一篇之外，所有文本均已通过上述所有方法正确分类：

“阿根廷原油产量在 1987 年 1 月下降了 10.8% Yacimientos Petroliferos Fiscales 称，1232 万桶，1986 年 1 月为 13.81 万桶。 \n 1987 年 1 月自然 天然气产量总计 11.5 亿立方米，高于 3.6% Yacimientos Petroliferos Fiscales 补充说，1986 年 1 月生产了 11.1 亿立方米。 \n路透社”

Answer 5

试试http://cran.r-project.org/web/packages/cldr/，它将 Google Chrome 的语言检测功能引入 R。

#install from archive
url <- "http://cran.us.r-project.org/src/contrib/Archive/cldr/cldr_1.1.0.tar.gz"
pkgFile<-"cldr_1.1.0.tar.gz"
download.file(url = url, destfile = pkgFile)
install.packages(pkgs=pkgFile, type="source", repos=NULL)
unlink(pkgFile)
# or devtools::install_version("cldr",version="1.1.0")

#usage
library(cldr)
demo(cldr)

Answer 6

textcat 包就是这样做的。它可以检测 74 种“语言”（更准确地说，是语言/编码组合），更多的是其他扩展。详细信息和示例在这篇免费提供的文章中：

Hornik, K., Mair, P., Rauch, J., Geiger, W., Buchta, C. 和 Feinerer, I. The textcat Package for n-Gram Based Text Categorization 在 R. Journal of Statistical Software, 52, 1-17。

这是摘要：

识别所使用的语言通常是大多数情况下的第一步 自然语言处理任务。在多种多样的语言中 文献中讨论的识别方法，采用 Cavnar 和 Trenkle (1994) 的文本分类方法 字符 n-gram 频率特别成功。这 论文介绍了基于 n-gram 文本的 R 扩展包 textcat 实现 Cavnar 和 Trenkle 方法的分类 以及旨在消除冗余的简化 n-gram 方法 的原始方法。获得的多语种语料库 可用于选择主题的 Wikipedia 页面用于 说明包的功能和性能 提供语言识别方法。

这是他们的一个例子：

library("textcat")
textcat(c(
  "This is an English sentence.",
  "Das ist ein deutscher Satz.",
  "Esta es una frase en espa~nol."))
[1] "english" "german" "spanish" 

Answer 7

我不确定 R，但有几个其他语言的库。您可以在此处找到其中的一些收集：

http://www.detectlanguage.com/

最近还有一个有趣的项目：

http://blog.mikemccandless.com/2011/10/language-detection-with-googles-compact.html

使用此库制作 Twitter 语言地图：

http://www.flickr.com/photos/walkingsf/6277163176/in/photostream

如果你找不到 R 的库，我建议考虑通过 webservice 使用远程语言检测器。