在文件中查找波斯语或非英语文本

Question

我有一个加载到 R studio 的原始数据（csv 文件），我想提取其中包含非英语数据的那些列，我怎么可能做到这一点？

Answer 1

您可以使用stringi 包。

我将使用@Chris Ruehlemann 示例数据。

样本数据：

x <- c("New York", "Delhi", "کابلت هران", "ü", "ß") 

library(stringi)

grepl("[[:cntrl:]]", stringi::stri_enc_toascii(x))

这会给你一个TRUE/FALSE 输出：

[1] FALSE FALSE  TRUE  TRUE  TRUE

接下来，您可以提取非英文值：

x[grepl("[[:cntrl:]]", stringi::stri_enc_toascii(x))]
[1] "کابلت هران" "ü"          "ß" 

如果您愿意，也可以使用基本 R 解决方案：

grepl("[^ -~]", x)

这会给你类似的结果：

[1] FALSE FALSE  TRUE  TRUE  TRUE

但是，如果您要对这两个函数进行基准测试，stringi::stri_enc_toascii 会更快。

library(rbenchmark)

# sample data
y <- sample(x, 1000, replace = TRUE)

benchmark(
  "stringi" = {
    grepl("[[:cntrl:]]", stringi::stri_enc_toascii(y))
    },
"baseR" = {
  grepl("[^ -~]", y)
},
replications = 1000,
columns = c("test", "replications", "elapsed",
            "relative", "user.self", "sys.self"))

     test replications elapsed relative user.self sys.self
2   baseR         1000    0.96    5.053      0.96     0.00
1 stringi         1000    0.19    1.000      0.19     0.01

Answer 2

由于您说要在数据框中选择名称包含非 ASCII 字符的 列，因此这里有一个简单的 R 基础解决方案。 假设您的数据具有以下结构：

df <- data.frame(
  NY = c("some", "data", "more", "data"),
  Delhi = c("some", "data", "more", "data"),
  کابل = c("some", "data", "more", "data"),
  ß = c("some", "data", "more", "data")
)
df
    NY Delhi کابل    ß
1 some  some some some
2 data  data data data
3 more  more more more
4 data  data data data

那么您所要做的就是使用grepl 在感兴趣的列上子集df 以在colnames 中查找模式[^ -~] 的匹配项：

df[ , grepl("[^ -~]", colnames(df))]
  کابل    ß
1 some some
2 data data
3 more more
4 data data