使用 read_csv 导入时限制 col_type 的选项

Question

我正在使用readr::read_csv 导入一系列文件，然后通过 API 更新数据。 read_csv 通常可以很好地猜测列类型，但如果文件的前 1000 行中没有数据，则似乎默认为逻辑。如果我总是使用同一个文件/知道特定文件有哪些列，我可以指定列类型（即使用col_spec= cols( sea_level_pressure_set_1d = col_double(),...），但由于有多个文件，它们并不都有所有列。 具体来说，read_csv似乎默认为logical，导致解析失败。

有没有办法强制 read_csv 遵循列类型的层次结构；将其选项限制为仅说字符、双精度和日期时间；或使用带有未知异常的 .default 设置？使用.default 论证，似乎我需要指定所有异常，当文件具有不同格式的异常时会出现我的问题。
我希望 read_csv 只分配日期时间、数字和字符列。

Answer 1

我想我找到了您的解决方案，但可能需要您提供更多详细信息才能确认：

第一步： 您首先要为每个文件获取 col() 输出，您可以手动执行或使用 spec_col() 公式为您自动提取该输出（我将在下面显示）。

#first create mock dataframe

df1 <- tibble(x=1:3,y=letters[1:3])

df2 <- tibble(a=letters[4:6],b=4:6)

write_csv(df2,file = "df2.csv")
write_csv(df1,file = "df1.csv")

#create file path to pull in files
file_path <- list.files(path=".",pattern="df")

#extract out each file's col_type, set the default, and put it into a list

list <- map(file_path,
            ~spec_csv(.x,
                      col_types = cols(.default=col_character())
                      )
            )

这会产生以下输出：

> list
[[1]]
cols(
  x = col_double(),
  y = col_character()
)

[[2]]
cols(
  a = col_character(),
  b = col_double()
)

第二步：分配默认值（可选） 如果你想分配一个默认值，那么你需要使用下面的 for 循环（我不知道如何用 map 做到这一点，但下面的工作）。这基本上利用了cols 类对象的特殊属性，并根据您分配的内容分配默认值。如果您为其分配文字字符值，则默认值将变为字符。如果你给它分配一个文字数值，那么默认值将变成数值。

#get the length of your list
x <- seq_along(list)
#loop through each element of the list and assign the <collect_guess> argument a value
for(i in x){
list[[i]][[2]] <- list[[i]][[2]] <- "character"
}

这会产生以下输出：

> list
[[1]]
cols(
  .default = col_character(),
  x = col_double(),
  y = col_character()
)

[[2]]
cols(
  .default = col_character(),
  a = col_character(),
  b = col_double()
)

第三步： 使用这个存储每个文件的 col() 参数的变量“list”，我们需要创建一个新的 tibble，将 col() 参数与相应的文件配对。我们可以用一个简单的 tibble 来做到这一点。

col_map<- tibble(x=list,y=file_path)

第 4 步 然后使用map2_df 函数，它允许您同时通过两个向量（在本例中为col() 参数（.x）和文件路径（.y）到一个公共函数read_csv

map2_df(.x=col_map$x,
.y=col_map$y,
.f = ~read_csv(file=.y,col_types=.x)
)

这应该将您的所有文件保存到一个新的 tibble。