如何通过两个属性过滤大型数据集并拆分为子集？ R / grep

Question

我发现自己处于 grep() 函数的极限，或者也许有有效的方法来做到这一点。

开始一个示例数据框：

Date <- c( "31-DEC-2014","31-DEC-2014","31-DEC-2014","30-DEC-2014",
           "30-DEC-2014","30-DEC-2014", "29-DEC-2014","29-DEC-2014","29-DEC-2014" )

ISIN <- c("LU0168343191", "TW0002418001", "GB00B3FFY088","LU0168343191",
          "TW0002418001", "GB00B3FFY088","LU0168343191", "TW0002418001", "GB00B3FFY088")


price <-c(seq(1:9))

df <- as.data.frame(cbind(Date, ISIN, price))

所需的结果是一个 list() 包含主数据文件的子集，如下所示（Result_I 中的 3 个单独标识符的 x3）

想法是数据应首先按 ISIN 过滤，然后然后按日期过滤。这两个步骤的过程应该保持我的数据完好无损。

Result_d <- c("31-DEC-2014", "30-DEC-2014","29-DEC-2014")
Result_I <- c("LU0168343191","LU0168343191","LU0168343191")
Result_P <- c(1,4,7)

Result_df <- cbind(Result_d, Result_I, Result_P)

请保持上述内容用于演示目的，真实数据集在 450 多个不同日期期间有 500 万行和 50 列，根据Result_d，所以我正在寻找适用的东西，而与 nrow 无关或 ncol

到目前为止我所拥有的：

我记录所有唯一的日期并存储：

Unique_Dates <- unique(df$Date)

标识符相同：

Unique_ID <- unique(df$ISIN)

现在是 grepping 问题：

如果我想要所有包含 Unique_Dates 的行，我会这样做：

pattern <- paste(Unique_dates, collapse = "|")

result <- as.matrix(df[grep(pattern, df$Date),])

这将基本上检索整个数据集。我想知道是否有人知道这样做的有效方法。

提前致谢。

Answer 1

使用dplyr：

library(dplyr)

Date <- c( "31-Dec-2014","31-Dec-2014","31-Dec-2014","30-Dec-2014",
           "30-Dec-2014","30-Dec-2014", "29-Dec-2014","29-Dec-2014","29-Dec-2014" )

ISIN <- c("LU0168343191", "TW0002418001", "GB00B3FFY088","LU0168343191",
          "TW0002418001", "GB00B3FFY088","LU0168343191", "TW0002418001", "GB00B3FFY088")


price <-c(seq(1:9))

DF <- data.frame(Date, ISIN, price,stringsAsFactors=FALSE)
DF$Date=as.Date(DF$Date,"%d-%b-%Y")



#Examine data ranges and frequencies

#date range
range(DF$Date)

#date frequency count
table(DF$Date)

#ISIN frequency count
table(DF$ISIN)


#select ISINs for filtering, with user defined choice of filters

# numISIN = 2
# subISIN = head(names(sort(table(DF$ISIN))),numISIN)


subISIN = names(sort(table(DF$ISIN)))[2]


subDF=DF %>%
dplyr::group_by(ISIN) %>%
dplyr::arrange(ISIN,Date) %>%
dplyr::filter(ISIN %in% subISIN) %>%  
as.data.frame()

#> subDF
#        Date         ISIN price
#1 2014-12-29 LU0168343191     7
#2 2014-12-30 LU0168343191     4
#3 2014-12-31 LU0168343191     1

Answer 2

我们将“data.frame”转换为“data.table”（setDT(df)），按“日期”分组，根据grep 返回的索引指定“i”，并将 Data.table 子集（ .SD) 基于 'i' 索引。

library(data.table)
setDT(df)[grep("LU", ISIN), .SD, by = Date]
#           Date         ISIN price
#1: 31-DEC-2014 LU0168343191     1
#2: 30-DEC-2014 LU0168343191     4
#3: 29-DEC-2014 LU0168343191     7