使用 R 在数据框中生成随机缺失值答案

【问题标题】：Generate random missing values in a dataframe using R使用 R 在数据框中生成随机缺失值
【发布时间】：2015-06-18 00:16:53
【问题描述】：

我有一个简单的数据框示例如下：

a    b   c

10  50  100

45  36  27

15  80  90

预期的输出如下所示。

a   b   c

10  NA  100

NA  NA  NA

15  80  27

我尝试的编程如下：

insert_nas <- function(x) {

  len <- length(x)

  n <- sample(1:floor((0.01*(dim(x)[1]))), 1)

  i <- sample(1:len, n)

  x[i] <- NA 

  x

}


> sapply(incomplete.data,insert_nas)

Error in 1:floor((0.01 * (dim(x)[1]))) : argument of length 0

但是，出现了一个错误。
如何生成数据框中缺失 1% 的随机缺失值？

【问题讨论】：

感谢 Chris 编辑编程代码。
另请参阅，使用图形表示：stackoverflow.com/a/28368161/3871924

标签： r

【解决方案1】：

您的错误来自哪里：

sapply 调用试图将函数insert_nas 应用于incomplete.data 的每个元素（在这种情况下，数据框的元素是它的列）。应用于原子向量的函数dim 产生NULL；乘以一个常数得到一个长度为 0 的数值向量；应用floor 不会改变这一点；最后尝试生成一个以空向量为界的序列会出错。

如何消除错误：

大概通过dim(x)[1]，您打算获取数据框中的行数（当x 是数据框而不是其中的一列时，您会得到）。尝试将其替换为length(x)。

对于任意分布的 NA 选择：

要将值的某些比例p 更改为 NA，而不考虑列位置进行分布，似乎最简单的方法是在整个数据帧上使用适当大小 (p*df-size) 的随机样本来选择要设置为 NA 的元素：

sel <- sample( nrow(df)*ncol(df), size = p*nrow(df)*ncol(df) )
for(t in 1:length(sel)){
    is.na(df[[sel[t]%/%nrow(df) +1]]) <- sel[t]%%nrow(df) + 1
}

【讨论】：

感谢 tegancp 的帮助，我真的很感激。但是，随机缺失值是针对数据框中每列的 1% 缺失而生成的，但我仍然无法找到使数据框中所有列总共缺失 1% 的方法。
那么您是否正在寻找随机 1% 的 NA 选择，随机分布而不考虑列（因此不同的列会有不同的 NA 比例）？
抱歉，tegancp 回复晚了。是的，tegancp 如何生成随机缺失值？
亲爱的 tegancp，我已经尝试过更新的编程，但有一个错误消息 Error in sample.int(length(x), size, replace, prob) : invalid 'size' as I include编程的第一行为： insert_nas
对不起 - 使用一个小数据帧，所以我为 NAs 的比例使用了一个更大的值。您必须在该行之前设置 p= 所需的值 (0.01)（或者只需将 p 替换为您的值）。

【解决方案2】：

我使用了missForest 包中的prodNA。

我的功能是跟随

fn.df.add.NA <- function(df, var.name, prop.of.missing) {
  df.buf <- subset(df, select=c(var.name))                      # Select variable
  require(missForest, quietly = T)
  df.buf <- prodNA(x = df.buf, prop.of.missing)                 # chage original value to NA in casual sequence
  detach("package:missForest", unload=TRUE)

  df.col.order <- colnames(x = df)                              # save the column order       
  df <- subset(df, select=-c(which(colnames(df)==var.name)))    # drop the variable with no NAs    
  df <- cbind(df, df.buf)                                       # add the column with NA          
  df <- subset(df, select=df.col.order)                         # restore the original order sequence 

  return(df)  
}

它允许根据给定的比例将随机数量的观察值更改为 NA。

因为 prodNA 函数将 NA 应用于所有 data.frame 列，所以我使用了“缓冲区”数据结构来返回与输入 data.frame 相同的数据结构。也许有些读者可能会提出一种更优雅的方式。

你可以通过各种方式做这个测试

set.seed(1)
df <- data.frame(a = as.numeric(runif(n = 100, min = 1, max = 100)),
                 b = as.numeric(runif(n = 100, min = 201, max = 300)),
                 c = as.numeric(runif(n = 100, min = 301, max = 400)))

 summary(df)
       a                b               c        
 Min.   : 2.326   Min.   :202.3   Min.   :303.8  
 1st Qu.:32.985   1st Qu.:229.2   1st Qu.:319.8  
 Median :49.293   Median :252.3   Median :338.4  
 Mean   :52.267   Mean   :252.2   Mean   :344.1  
 3rd Qu.:76.952   3rd Qu.:273.3   3rd Qu.:364.0  
 Max.   :99.199   Max.   :299.3   Max.   :398.2  

df <- fn.df.add.NA(df = df, var.name = "a", prop.of.missing = .1)
df <- fn.df.add.NA(df = df, var.name = "b", prop.of.missing = .2)
df <- fn.df.add.NA(df = df, var.name = "c", prop.of.missing = .3)

summary(df)
       a                b               c        
 Min.   : 2.326   Min.   :202.3   Min.   :303.8  
 1st Qu.:30.628   1st Qu.:229.2   1st Qu.:319.2  
 Median :48.202   Median :252.3   Median :342.2  
 Mean   :50.247   Mean   :252.5   Mean   :345.4  
 3rd Qu.:71.504   3rd Qu.:273.3   3rd Qu.:369.3  
 Max.   :99.199   Max.   :299.3   Max.   :396.2  
 NA's   :10       NA's   :20      NA's   :30

【讨论】：

【解决方案3】：

library(reprex)
set.seed(42)

mi_d <- mtcars

nr_of_NAs <- 30
for (i in 1:nr_of_NAs) {
  mi_d[sample(nrow(mi_d),1),sample(ncol(mi_d),1)] <- NA
}
mi_d

#>                      mpg cyl  disp  hp drat    wt  qsec vs am gear carb
#> Mazda RX4           21.0   6 160.0 110 3.90 2.620 16.46  0  1   NA    4
#> Mazda RX4 Wag       21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4
#> Datsun 710          22.8  NA 108.0  93 3.85 2.320 18.61 NA  1    4    1
#> Hornet 4 Drive      21.4   6 258.0 110   NA 3.215 19.44 NA  0   NA    1
#> Hornet Sportabout     NA   8 360.0  NA 3.15 3.440 17.02  0  0    3    2
#> Valiant             18.1   6 225.0 105 2.76    NA 20.22  1  0    3    1
#> Duster 360          14.3   8 360.0 245 3.21 3.570 15.84 NA  0    3    4
#> Merc 240D           24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
#> Merc 230            22.8   4    NA  95 3.92 3.150 22.90  1  0    4    2
#> Merc 280            19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
#> Merc 280C           17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4
#> Merc 450SE          16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3
#> Merc 450SL          17.3  NA 275.8 180 3.07 3.730 17.60  0  0    3    3
#> Merc 450SLC         15.2   8 275.8 180   NA 3.780 18.00  0  0    3    3
#> Cadillac Fleetwood  10.4  NA 472.0 205 2.93 5.250 17.98  0  0    3   NA
#> Lincoln Continental 10.4   8 460.0 215 3.00 5.424 17.82  0  0    3    4
#> Chrysler Imperial   14.7   8 440.0 230 3.23 5.345 17.42  0  0    3    4
#> Fiat 128            32.4   4  78.7  66 4.08 2.200 19.47  1  1   NA    1
#> Honda Civic         30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
#> Toyota Corolla      33.9   4  71.1  65   NA 1.835 19.90  1  1    4    1
#> Toyota Corona         NA   4 120.1  97 3.70 2.465 20.01  1  0    3    1
#> Dodge Challenger    15.5   8 318.0  NA 2.76 3.520 16.87  0  0    3    2
#> AMC Javelin         15.2   8 304.0 150 3.15 3.435 17.30 NA  0    3    2
#> Camaro Z28          13.3  NA 350.0 245 3.73 3.840 15.41  0  0   NA    4
#> Pontiac Firebird      NA   8 400.0  NA 3.08 3.845 17.05  0  0    3    2
#> Fiat X1-9           27.3  NA  79.0  NA 4.08    NA 18.90  1  1    4    1
#> Porsche 914-2       26.0   4 120.3  91 4.43 2.140 16.70  0 NA    5    2
#> Lotus Europa        30.4  NA  95.1 113 3.77 1.513 16.90  1  1    5    2
#> Ford Pantera L      15.8   8 351.0 264 4.22 3.170 14.50  0  1    5    4
#> Ferrari Dino        19.7   6 145.0 175 3.62 2.770 15.50  0  1    5    6
#> Maserati Bora       15.0   8 301.0 335 3.54 3.570 14.60  0  1    5    8
#> Volvo 142E            NA   4 121.0 109 4.11 2.780 18.60  1  1    4    2
Created on 2021-05-27 by the reprex package (v2.0.0)

【讨论】：

【解决方案4】：

希望它仍然相关。创建了一个接收数据帧和所需 NAs 比率的函数，返回一个数据帧，其中包含随机分布的 NAs 并具有所需的指定比率：

insertNA <- function(df,NAratio) {
  sel <- sample( nrow(df)*ncol(df), size = NAratio*nrow(df)*ncol(df) )
  for (i in c(1:length(sel))) {
    a <- as.integer((sel[i]-1)/ncol(df)+1)
    b <- sel[i] - (a-1)*ncol(df)
    df[a,b] <- NA
  }
  return(df)
}

【讨论】：