指定不同类型的缺失值 (NA)答案

【问题标题】：Specify different types of missing values (NAs)指定不同类型的缺失值 (NA)
【发布时间】：2013-04-11 01:29:26
【问题描述】：

我有兴趣指定缺失值的类型。我有不同类型的缺失数据，我正在尝试将这些值编码为 R 中的缺失值，但我正在寻找一种解决方案，我仍然可以区分它们。

假设我有一些看起来像这样的数据，

set.seed(667) 
df <- data.frame(a = sample(c("Don't know/Not sure","Unknown","Refused","Blue", "Red", "Green"),  20, rep=TRUE), b = sample(c(1, 2, 3, 77, 88, 99),  10, rep=TRUE), f = round(rnorm(n=10, mean=.90, sd=.08), digits = 2), g = sample(c("C","M","Y","K"),  10, rep=TRUE) ); df
#                      a  b    f g
# 1              Unknown  2 0.78 M
# 2              Refused  2 0.87 M
# 3                  Red 77 0.82 Y
# 4                  Red 99 0.78 Y
# 5                Green 77 0.97 M
# 6                Green  3 0.99 K
# 7                  Red  3 0.99 Y
# 8                Green 88 0.84 C
# 9              Unknown 99 1.08 M
# 10             Refused 99 0.81 C
# 11                Blue  2 0.78 M
# 12               Green  2 0.87 M
# 13                Blue 77 0.82 Y
# 14 Don't know/Not sure 99 0.78 Y
# 15             Unknown 77 0.97 M
# 16             Refused  3 0.99 K
# 17                Blue  3 0.99 Y
# 18               Green 88 0.84 C
# 19             Refused 99 1.08 M
# 20                 Red 99 0.81 C

如果我现在制作两张表，我的缺失值（"Don't know/Not sure","Unknown","Refused" 和 77, 88, 99）将作为常规数据包含在内，

table(df$a,df$g)
#                     C K M Y
# Blue                0 0 1 2
# Don't know/Not sure 0 0 0 1
# Green               2 1 2 0
# Red                 1 0 0 3
# Refused             1 1 2 0
# Unknown             0 0 3 0

和

table(df$b,df$g)
#    C K M Y
# 2  0 0 4 0
# 3  0 2 0 2
# 77 0 0 2 2
# 88 2 0 0 0
# 99 2 0 2 2

我现在将三个因子水平 "Don't know/Not sure","Unknown","Refused" 重新编码为 <NA>

is.na(df[,c("a")]) <- df[,c("a")]=="Don't know/Not sure"|df[,c("a")]=="Unknown"|df[,c("a")]=="Refused"

并删除空级别

df$a <- factor(df$a)

数值 77, 88, 和 99 也是如此

is.na(df) <- df=="77"|df=="88"|df=="99"

table(df$a, df$g, useNA = "always")       
#       C K M Y <NA>
# Blue  0 0 1 2    0
# Green 2 1 2 0    0
# Red   1 0 0 3    0
# <NA>  1 1 5 1    0

table(df$b,df$g, useNA = "always")
#      C K M Y <NA>
# 2    0 0 4 0    0
# 3    0 2 0 2    0
# <NA> 4 0 4 4    0

现在缺少的类别被重新编码为NA，但它们都集中在一起。有没有办法将某些东西重新编码为丢失，但保留 original 值？我希望 R 将 "Don't know/Not sure","Unknown","Refused" 和 77, 88, 99 列为缺失，但我希望能够在变量中仍然拥有信息。

【问题讨论】：

向df 添加另一个名为isNA 的列，如果缺少该值，该列将成立？或者isNA列可以直接容纳NA和0。这取决于您的其余代码。
这可以正常工作，但它更多的是一种解决方法，然后是一个可以无缝与我的其余代码一起工作的解决方案——正如您也指出的那样。你愿意用一个例子来证明它吗？
很难预测对其余代码的影响。也许您可以编写自己的my.table 使用my.is.na，它返回TRUE 表示“不知道/不确定”、“未知”、“拒绝”
您似乎向我们提供了汇总数据。您是否拥有比此格式更早的格式的数据？如果是这样，那只是一个因式分解的问题。
@BrandonBertelsen，谢谢你的问题（和你的回答）。我提供的虚拟数据与我的真实数据看起来非常接近。正如我在my comment to@Maxim.K 中提到的，我本来可以对变量a 更精确一些，但除此之外，我在问题中提供的数据与我的真实数据看起来非常接近。

标签： r base missing-data missing-features

【解决方案1】：

据我所知，基本 R 没有内置方法来处理不同的 NA 类型。 （编辑：确实如此：NA_integer_、NA_real_、NA_complex_ 和 NA_character。见 ?base::NA。）

一种选择是使用可以这样做的包，例如“memisc”。这是一些额外的工作，但它似乎可以满足您的需求。

这是一个例子：

首先，您的数据。我已经制作了一份副本，因为我们将对数据集进行一些非常重要的更改，并且备份总是很好。

set.seed(667) 
df <- data.frame(a = sample(c("Don't know/Not sure", "Unknown", 
                              "Refused", "Blue", "Red", "Green"),
                            20, replace = TRUE), 
                 b = sample(c(1, 2, 3, 77, 88, 99), 10, 
                            replace = TRUE), 
                 f = round(rnorm(n = 10, mean = .90, sd = .08), 
                           digits = 2), 
                 g = sample(c("C", "M", "Y", "K"), 10, 
                            replace = TRUE))
df2 <- df

让我们考虑变量“a”：

df2$a <- factor(df2$a, 
                levels = c("Blue", "Red", "Green", 
                           "Don't know/Not sure",
                           "Refused", "Unknown"),
                labels = c(1, 2, 3, 77, 88, 99))

加载“memisc”库：

library(memisc)

现在，将变量“a”和“b”转换为“memisc”中的items：

df2$a <- as.item(as.character(df2$a), 
                  labels = structure(c(1, 2, 3, 77, 88, 99),
                                     names = c("Blue", "Red", "Green", 
                                               "Don't know/Not sure",
                                               "Refused", "Unknown")),
                  missing.values = c(77, 88, 99))
df2$b <- as.item(df2$b, 
                 labels = c(1, 2, 3, 77, 88, 99), 
                 missing.values = c(77, 88, 99))

通过这样做，我们有了一个新的数据类型。比较以下：

as.factor(df2$a)
#  [1] <NA>  <NA>  Red   Red   Green Green Red   Green <NA>  <NA>  Blue 
# [12] Green Blue  <NA>  <NA>  <NA>  Blue  Green <NA>  Red  
# Levels: Blue Red Green
as.factor(include.missings(df2$a))
#  [1] *Unknown             *Refused             Red                 
#  [4] Red                  Green                Green               
#  [7] Red                  Green                *Unknown            
# [10] *Refused             Blue                 Green               
# [13] Blue                 *Don't know/Not sure *Unknown            
# [16] *Refused             Blue                 Green               
# [19] *Refused             Red                 
# Levels: Blue Red Green *Don't know/Not sure *Refused *Unknown

我们可以使用这些信息来创建符合您描述方式的表格，同时保留所有原始信息。

table(as.factor(include.missings(df2$a)), df2$g)
#                       
#                        C K M Y
#   Blue                 0 0 1 2
#   Red                  1 0 0 3
#   Green                2 1 2 0
#   *Don't know/Not sure 0 0 0 1
#   *Refused             1 1 2 0
#   *Unknown             0 0 3 0
table(as.factor(df2$a), df2$g)
#        
#         C K M Y
#   Blue  0 0 1 2
#   Red   1 0 0 3
#   Green 2 1 2 0
table(as.factor(df2$a), df2$g, useNA="always")
#        
#         C K M Y <NA>
#   Blue  0 0 1 2    0
#   Red   1 0 0 3    0
#   Green 2 1 2 0    0
#   <NA>  1 1 5 1    0

缺少数据的数字列的表行为相同。

table(as.factor(include.missings(df2$b)), df2$g)
#      
#       C K M Y
#   1   0 0 0 0
#   2   0 0 4 0
#   3   0 2 0 2
#   *77 0 0 2 2
#   *88 2 0 0 0
#   *99 2 0 2 2
table(as.factor(df2$b), df2$g, useNA="always")
#       
#        C K M Y <NA>
#   1    0 0 0 0    0
#   2    0 0 4 0    0
#   3    0 2 0 2    0
#   <NA> 4 0 4 4    0

作为奖励，您可以生成漂亮的codebooks：

> codebook(df2$a)
========================================================================

   df2$a

------------------------------------------------------------------------

   Storage mode: character
   Measurement: nominal
   Missing values: 77, 88, 99

            Values and labels    N    Percent 

    1   'Blue'                   3   25.0 15.0
    2   'Red'                    4   33.3 20.0
    3   'Green'                  5   41.7 25.0
   77 M 'Don't know/Not sure'    1         5.0
   88 M 'Refused'                4        20.0
   99 M 'Unknown'                3        15.0

不过，我也建议您阅读@Maxim.K 中的the comment，了解真正构成缺失值的内容。

【讨论】：

+1 非常好的详细答案！当include.missings 时，我喜欢行名中的'*' :)
感谢您的详细回答，正如@agstudy 也指出的那样。
+1 非常详细，很好。 R 确实有办法处理不同的 NA 类型，但我不知道你是否可以使用它。必须这样做才能做到class( c(1,2,NA) ) 即"numeric" 和class( c("a","b",NA) ) 即"character"？
还有哪些包可以让你同时使用不同类型的缺失？我有一个包含许多变量、一些数字、一些日期的数据集，我想对三种不同类型的缺失进行编码：错误、未知和由于数据重塑而产生的缺失。

【解决方案2】：

要保留原始值，您可以在编码 NA 信息的位置创建新列，例如：

df <- transform(df,b.na = ifelse(b %in% c('77','88','99'),NA,b))
df <- transform(df,a.na = ifelse(a %in% 
                        c("Don't know/Not sure","Unknown","Refused"),NA,a))

然后你可以这样做：

   table(df$b.na , df$g)
    C K M Y
  2 0 0 4 0
  3 0 2 0 2

另一个不创建新列的选项是使用 ,exclude 这样的选项，将不需要的值设置为 NULL，（与缺失值不同）

table(df$a,df$g,
      exclude=c('77','88','99',"Don't know/Not sure","Unknown","Refused")) 
       C K M Y
  Blue  0 0 1 2
  Green 2 1 2 0
  Red   1 0 0 3

您可以定义一些全局常量（即使不推荐）来对您的“缺失值”进行分组，并在程序的其余部分中使用它们。像这样的：

B_MISSING <- c('77','88','99')
A_MISSING <- c("Don't know/Not sure","Unknown","Refused")

【讨论】：

感谢您回答我的问题。我不知道exclude 选项。这是一个有趣的解决方案。我仍然有些惊讶 R 只有一类缺失值。
@EricFail R 缺少一个基本上是逻辑值，但也可以有不同的类型：NA_integer_, NA_real_, NA_complex_ and NA_character_。您可以查看我对“全局”解决方案的编辑。
严格来说，这些并不是（全部）缺失。 “不知道”不是缺失，它是一个有效的答案类别，在许多情况下应该这样对待。 “拒绝”也包含信息，而“未知”可能是真正的缺失。我只需创建一个包含这三个子类别的附加列，并在需要时引用它们，同时使用常规 NA 来获取不区分的统计技术。
@Maxim.K，您的评论让我意识到我的问题本可以更准确。在我的示例中，变量 a 应该更像这样确定","未知","拒绝。"这有意义吗？
@agstudy，关于 全局常量，这会是我的 .Rprofile 的一部分吗？

【解决方案3】：

如果您愿意坚持使用数值，那么 NA、Inf、-Inf 和 NaN 可以用于不同的缺失值。然后您可以使用is.finite 来区分它们和正常值：

x <- c(NA, Inf, -Inf, NaN, 1)
is.finite(x)
## [1] FALSE FALSE FALSE FALSE  TRUE

is.infinite、is.nan 和 is.na 在这里也很有用。

我们可以有一个特殊的 print 函数，以更有意义的方式显示它们，甚至创建一个特殊的类，但即使没有，上面也会将数据分为有限值和多个非有限值。

【讨论】：