如何根据条件从 R 中的大型数据集中删除一组特定数据？答案

【问题标题】：How can I remove a set of specific data, based on a condition, from a large dataset in R?如何根据条件从 R 中的大型数据集中删除一组特定数据？
【发布时间】：2019-09-07 02:04:53
【问题描述】：

我有这个数据集，其中包括一家公司在给定年份的所有销售额（公司代码 = gvkey，年份 = fyearq，销售额 = saley），其销售额增长率（growth_rate_adjusted）（关于过去一年）和其增长率的波动。但是，该数据集中某些年份存在一些异常值。在这种情况下，我想删除 1995 年波动率高于 3.0 的所有行。

我曾尝试使用 ddplyr 通过以下方式过滤掉它

rs <-rs%>%
  filter(!fyearq == 1995 & !volatility > 3.0) %>%
  ungroup()

但这不包括所有年份高于 4 的所有波动率，并从数据集中完全排除了 1995 年，这不是我的目标。

如果有人能告诉我如何将其限定为 1995 年的波动率仅高于 3.0，我将不胜感激。不幸的是，我对 R 很陌生。

一个样本，其中包含 1994 年和 1995 年按年份排序的数据（会有一些 NA，但它们没关系）以使其可重现：

structure(list(gvkey = c(65089L, 65090L, 65091L, 65094L, 65095L, 
65298L, 65351L, 65499L, 66430L, 66591L, 66624L, 109584L, 119053L, 
143972L, 145348L, 277918L, 1004L, 1009L, 1010L, 1011L, 1013L, 
1017L, 1019L, 1021L, 1025L, 1033L, 1034L, 1037L, 1038L, 1043L, 
1045L, 1048L, 1050L, 1055L, 1056L, 1072L, 1073L, 1075L, 1076L, 
1078L, 1082L, 1084L, 1086L, 1090L, 1094L, 1095L, 1097L, 1098L, 
1099L, 1104L, 1107L, 1108L, 1109L, 1111L), fyearq = c(1994L, 
1994L, 1994L, 1994L, 1994L, 1994L, 1994L, 1994L, 1994L, 1994L, 
1994L, 1994L, 1994L, 1994L, 1994L, 1994L, 1995L, 1995L, 1995L, 
1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 
1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 
1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 
1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L, 1995L), growth_rate_adjusted = c(8.96928631198866, 
8.4280138706961, 9.02704614077282, 8.10147860671897, 7.85740916384215, 
10.7523572462577, 0.0325017896704669, 0.285143311711521, -0.0215766088784792, 
7.5140205008648, 10.4833287736384, 1.73691297130171, 0.117237940329646, 
1.34207225611898, 8.38865848733786, NA, 11.217767632108, -0.304963611388244, 
8.90548855887399, -0.465405529093955, 0.308162761266, -0.428463261697025, 
9.71621276929561, -0.272514090039389, 0.365258326126507, -0.835436753370402, 
10.6675419276932, 21.8645191343365, 0.172555503849585, -0.0528834362682823, 
9.77177091825209, -0.0617758053830246, 7.26998471225084, 10.2427038986383, 
0.174166169584557, 11.7224789811471, 5.10323576237965, -0.0390433072454226, 
8.410713700002, 10.0433658114349, 8.56357182841634, 13.2022040407414, 
11.9928308829399, 11.6432049346405, 0.117529642161838, 9.53135348756221, 
9.58048755435235, 0.0758862747892137, 0.0654783197588846, 9.49577594725737, 
10.4061554746601, -0.454122878475859, 12.2471344335624, 37.1728040342351
), volatility = c(2.55192643294808, 2.39434025265926, 2.56344451051799, 
2.30624765181967, 2.23928130844332, 3.04354720436549, NA, 0.402804266987728, 
0.358552136097001, 2.13611997423426, 2.98090959393336, NA, 0.0847119569693743, 
NA, 2.37661435221257, NA, 3.18081892321314, NA, 2.52968180517002, 
NA, 0.429862168272561, NA, 2.76287646243831, 0.454406152459777, 
NA, NA, 3.0077233808187, 6.17293600484418, 0.304536845392376, 
0.0411853414230726, 2.76986690678473, 0.157817595412998, 1.99372992450495, 
NA, 0.293215830307968, 3.24928278487391, NA, 0.342934649585831, 
2.35498186010912, 2.84022723248247, 2.40517143665036, 3.13067695078128, 
NA, NA, 0.326138274385994, 2.70848653980122, 2.74871785774601, 
NA, 0.299889508129728, 2.71608606652565, 2.94982624906776, NA, 
3.47847130692363, 10.490117417769)), row.names = c(NA, -54L), class = c("tbl_df", 
"tbl", "data.frame"))

【问题讨论】：

标签： r database function plyr outliers

【解决方案1】：

我们希望“删除 1995 年波动率高于 3.0 的所有行”。

我们可以过滤以选择条件为TRUE 的所有内容，然后否定整个语句（而不是每个单独的组件）：

rs = rs%>%
  filter(!(fyearq == 1995 & volatility > 3.0)) %>%
  ungroup()

>rs
# A tibble: 36 x 4
   gvkey fyearq growth_rate_adjusted volatility
   <int>  <int>                <dbl>      <dbl>
 1 65089   1994               8.97        2.55 
 2 65090   1994               8.43        2.39 
 3 65091   1994               9.03        2.56 
 4 65094   1994               8.10        2.31 
 5 65095   1994               7.86        2.24 
 6 65298   1994              10.8         3.04 
 7 65351   1994               0.0325     NA    
 8 65499   1994               0.285       0.403
 9 66430   1994              -0.0216      0.359
10 66591   1994               7.51        2.14 
# … with 26 more rows

【讨论】：

不确定这个结果。 TRUE 条件fyearq == 1995 & volatility > 3 返回 7 行，因此所需的结果应该有 47 行，而不是 36 行？
@neilfws，是的，你是对的，但我不知道为什么代码会产生这个结果。有什么想法吗？
@NM_ 代码给出了错误的结果，因为有时会丢失波动性。
@ericOss 我认为还有另一个原因，因为它选择了一些波动率为NA 的行。看看输出。第 7 行的波动率为NA。
@NM_ 在第 7 行中，年份是 1994。在您的过滤器语句中，R 首先计算表达式 (fyearq == 1995 & volatility > 3.0) 以查看它是真还是假。如果fyearq 是 1994，则表达式为假。如果fyearq 是1995 并且波动率是NA 那么表达式的计算结果是NA，它的否定也是NA 并且该行不满足过滤条件，但是OP 的要求是它应该。

【解决方案2】：

neilfws 给出了正确的基础 R 解决方案。这是一个 dplyr 解决方案：

rs <- filter(rs, !(fyearq == 1995 & !is.na(volatility) & volatility > 3.0))

【讨论】：

【解决方案3】：

基础 R 解决方案：

rs <- rs[-which(rs$fyearq == 1995 & rs$volatility > 3), ]

注意相反的条件：

rs[which(rs$fyearq == 1995 & rs$volatility > 3), ]

返回 7 行。因此，如果子集按预期工作，我们预计 54 - 7 = 47 行。

【讨论】：

【解决方案4】：

你已经很接近了

rs <-rs%>%
  filter(!(fyearq == 1995 & volatility > 3.0)) %>%
  ungroup()

【讨论】：

与 NM_ 的答案相同的问题。
代码给出了错误的结果，因为波动性有时会丢失。