如何将多文件 .xlsx 数据导入没有级别的单个 R 数据帧？

Question

我正在尝试从here 提供的一些免费的 NASDAQ 100 Twitter 数据集中提取每家公司的数据。一旦构建和策划，最终目标是使用数据框运行一些建模实验。我想要的基本数据框形式是：

ATVI  49.02   0.44   0.91   7193022   .3 
ADBE  119.91  0.31   0.26   1984225   .1 
AKAM  64.2    0.65   1.02   1336622   .1 
ALXN  126.55  0.86   0.67   2182253   .2
GOOG  838.68  3.31   0.4    1261517  1.0 
AMZN  853     2.5    0.29   2048187  1.0

对于每个公司，有六个 .xlsx 文件（解压缩到单独的目录中），每个 excel 文件里面有多个工作表。目前，我只是尝试从每家公司的六个 excel 电子表格中的每一个中提取第一个工作表。所有这些工作表都有两列，行数不同，数据标签位于不同的行上，例如文件 1，公司 1：

Keyword             $AAPL -
Total tweets        166631
Total audience      221363515
Contributors        42738
Original tweets     91614
Replies             4964
RTs                 70053
Images and links    43361

文件 2，公司 1：

Keyword                        $AAPL -
Total audience                 221363515
Contributors                   42738
Total tweets                   166631
Total potential impressions    1.250.920.501
Measured data from             2016-04-02 18:06
Measured data to               2016-06-15 12:23
Tweets per contributor         3,90
Impressions / Audience         5,65
Measured time in seconds       6373058
Measured time in minutes       106218
Measured time in hours         1770
Measured time in days          74
Tweets per second              0.026146161
Tweets per minute              1.568769655
Tweets per hour                94.1261793
Tweets per day                 2259.028303

我正在尝试按照post 中的建议实施readxl，然后将每个公司的数据放入数据框的一行[下]。现在，我将第一个路径设置为我的目录，然后运行代码，然后设置第二个路径并再次运行它以添加新行（我知道这不是最佳的，见下文）。

library(readxl)

#create empty dataframe to assemble all the rows
cdf <- data.frame()

#setwd('...\\NASDAQ_100\\aal_2016_06_15_12_01_41')
#setwd('...\\NASDAQ_100\\aapl_2016_06_15_14_30_09')

#constructing list of all .xlsx files in current directory
file.list <- list.files(pattern='*.xlsx')

#using read_excel function to read each file in list and put in a dataframe of lists 
df.list <- lapply(file.list, read_excel)

#converting the dataframe of lists to a 77x2 dataframe
df <- as.data.frame(do.call(rbind, df.list),stringsAsFactors=FALSE)

#transposing the dataframe to prepare to stack multiple companies data in single dataframe
df <- t(df)

#making sure that the dataframe entry values are numeric
df <- transform(df,as.numeric)

#appending the 2nd row with the actual data into the dataframe that will have all companies' data
cdf <- rbind(cdf,df[2,])

样本输出：

> cdf[,1:8]
            X1        X2    X3    X4   X5    X6    X7        X8
$AAL      6507  14432722  1645  5211  459   837   938  14432722
$AAPL - 166631 221363515 42738 91614 4964 70053 43361 221363515

经过检查，我发现我的列中有一些级别是我从其他各种帖子中收集的，这是因为我如何导入数据，这也是我尝试将 stringsAsFactors=FALSE 添加到 as.data.frame 的原因，但是显然这不是解决方案：

> cdf[,2]
     $AAL   $AAPL - 
 14432722 221363515 
Levels: 14432722 Total audience 221363515

根据文档，这不是 read_excel 的参数。有没有办法仍然使用它，但避免这些级别？

一旦我解决了这个问题，我希望在基本的 for 循环中得到它，以遍历所有解压缩的子目录：

dir.list <- list.dirs(recursive = F)

for (subdir in dir.list) {

  file.list <- list.files(pattern='*.xlsx')

  df.list <- lapply(file.list, read_excel)

  df <- as.data.frame(do.call(rbind, df.list),stringsAsFactors=FALSE)

  df <- t(df)

  df <- transform(df,as.numeric)

  cdf <- rbind(cdf,df[2,])

}

但这会产生> cdf data frame with 0 columns and 0 rows？我知道没有一个代码是优雅或紧凑的（并且 rbind 在 for 循环中是不明智的），但这是我能够拼凑起来的。我非常乐于接受样式更正和替代方法，但如果它们的上下文在此处描述的整体问题/解决方案中得到解释，将不胜感激（即：不仅仅是“使用包 xyz”或“读取 ldply()的文档”）。

谢谢，

Answer 1

.xlsx 文件中的数据似乎存储在键（第 1 列）和值（第 2 列）结构中。我会使用readxl 和data.table 来读取数据并最初以长键/值格式存储它（第三列表示公司）。然后我会将 (dcast) 长格式转换为宽格式，这样每个键都有自己的列：

library(readxl)
library(data.table)

# Get list of files
file.list <- list.files(path = ".", pattern = "*.xlsx")

# Iterate over files
dt_list <- lapply(seq_along(file.list), function(x) {
  # Read sheet 1 as data.table
  dt <- data.table(read_excel(file.list[x], sheet = 1))
  # Get company based on name of second column
  company <- gsub(colnames(dt)[2], pattern = "[^A-Z]*", replacement = "")
  # Set company and file_name (optional for debugging)
  dt[, ":="(company = company, file_name = file.list[x])]
  setnames(dt, c("key", "value", "company", "file_name"))
  dt
})
dt <- rbindlist(dt_list, use.names = TRUE)

# Get rid of file_name and remove duplicates
dt[, file_name := NULL]
dt <- unique(dt)

# Optional filtering on key
# dt <- dt[key %in% c("Total tweets", "Total audience")]

# Use dcast to make wide format table with one row per company
dt_wide <- dcast(dt, formula = company~key)

dt_wide 的内容（与 AAPL 和 ATVI）：

    company Average contributor followers Average contributor following Contributor followers median ...
 1:    AAPL                       5197,58                        832,06                       141,00 ...
 2:    ATVI                       9769,01                       1389,17                       562,00 ...

您可以使用df <- as.data.frame(dt_wide) 将dt_wide 转换为标准data.frame

Answer 2

我想你的 df.list 包含带有因子而不是字符串的 data.frames，这可能是导致后续 rbind 出现问题的原因。你可以试试：

df.list <- lapply(file.list, function(x) {
             as.data.frame(read_excel(x), stringsAsFactors=FALSE)
           })

这样 df.list 中的 data.frames 不应该包含因子。