在R中处理字节顺序标记（BOM）

Question

有时字节顺序标记 (BOM) 出现在 .CSV 文件的开头。当您使用记事本或 Excel 打开文件时，该符号不可见，但是，当您使用各种方法在 R 中读取文件时，您将在第一列的名称中使用不同的符号。这是一个例子

开头带有 BOM 的示例 csv 文件。

ID,title,clean_title,clean_title_id
1,0 - 0,,0
2,"""0 - 1,000,000""",,0
27448,"20yr. rope walker
igger",Rope Walker Igger,1832700817

阅读基本 R 包中的read.csv

(x1 = read.csv("file1.csv",stringsAsFactors = FALSE))
#   ï..ID                raw_title        semi_clean semi_clean_id
# 1     1                    0 - 0                               0
# 2     2          "0 - 1,000,000"                               0
# 3 27448 20yr. rope walker\nigger Rope Walker Igger    1832700817

读取data.table包中的fread

(x2 = data.table::fread("file1.csv"))
#    ID                raw_title        semi_clean semi_clean_id
# 1:     1                    0 - 0                               0
# 2:     2        ""0 - 1,000,000""                               0
# 3: 27448 20yr. rope walker\rigger Rope Walker Igger    1832700817

阅读readr包中的read_csv

(x3 = readr::read_csv("file1.csv"))
#   <U+FEFF>ID                raw_title        semi_clean semi_clean_id
# 1          1                    0 - 0              <NA>             0
# 2          2          "0 - 1,000,000"              <NA>             0
# 3      27448 20yr. rope walker\rigger Rope Walker Igger    1832700817

您可以注意到变量名称 ID 前面有不同的字符。

以下是在所有这些上运行名称时的结果

names(x1)
# [1] "ï..ID"         "raw_title"     "semi_clean"    "semi_clean_id"
names(x2)
# [1] "ID"         "raw_title"     "semi_clean"    "semi_clean_id"
names(x3)
# [1] "ID"             "raw_title"     "semi_clean"    "semi_clean_id"

在x3中，ID前面没有任何“可见”，但是当你检查时

names(x3)[[1]]=="ID"
# [1] FALSE

如何在每种情况下摆脱这些不需要的字符。 PS：请添加更多读取csv文件的方法，遇到的问题和解决方法。

Answer 1

对于基本 R 中的 read.csv 使用：

x1 = read.csv("file1.csv",stringsAsFactors = FALSE, fileEncoding = "UTF-8-BOM")

对于 fread，使用：

x2 = fread("file1.csv")
setnames(x2, "ID", "ID")

对于 read_csv，使用：

x3 = readr::read_csv("file1.csv")
setDT(X3) #convert into data tables, so that setnames can be used
setnames(x3, "\uFEFFID", "ID")

一种非基于 R 的解决方案是在 Notepad++ 中打开文件，将编码更改为“无 BOM 的 UTF-8 编码”后保存文件