R函数将两个数据表中的字符列转换为数字并在每个数据表中保持一致的编号

Question

这个问题出现在机器学习情况下，其中有一组初始数据（称为 dtrain）和随后的一组相似数据（称为 dtest），我希望首先考虑一列类字符和然后转换为数字。我希望将字符串分解为数字映射以在两个数据表中保持一致。由于我会先遇到 dtrain，所以我只会看到数据的一个子集。当我遇到 dtest 时，我会想重用相同的级别并为新的唯一字符串添加新级别。

一个简单的例子：

dtrain <- data.table( colors = c('red','white','blue'))
dtest <- data.table( colors = c('green','white','red'))

factor(dtrain$colors)
[1] red   white blue 
Levels: blue red white

dtrain$colors <- as.numeric(factor(dtrain$colors))
dtrain$colors
[1] 2 3 1

color_levels <- c(c('blue','red','white'), c('green'))
dtest$colors <- as.numeric(factor(dtest$colors, color_levels))
dtest$colors
[1] 4 3 2

这里我们看到 white(3) 和 red(2) 在两者中是一致的，green(4) 在 dtest 中而不是 dtrain 中找到，因此在 dtrain$color 所需的所有级别之后得到一个级别。

我能够编写一个函数，该函数将根据两个数据表和目标列适当地构建级别。

ab.levels <- function( da, db, col_x ) {
  arguments <- as.list(match.call())
  ax <- sort(unique(eval(arguments$col_x, da)))
  bx <- unique(eval(arguments$col_x, db))
  return(c(ax, sort(setdiff(bx,ax))))
}

dtrain <- data.table( colors = c('red','white','blue'))
dtest <- data.table( colors = c('green','white','red'))

ab.levels( dtrain, dtest, colors)
[1] "blue"  "red"   "white" "green"

现在我想要一个可以随意应用的函数，它将列转换为数字并保持从第一个表到第二个表的级别顺序。这是我使用 ab.levels() 的幼稚代码，但不起作用：

ab.char.to.numeric <- function (da, db, col_x)
{
  col_levels <- ab.levels( da, db, col_x)
  da$col_x <- as.numeric(factor(da$col_x, col_levels))
  db$col_x <- as.numeric(factor(db$col_x, col_levels))
}

Answer 1

不要在 data.table 列上使用<-，请阅读按引用更新 和:= 运算符。

可能有更简单的方法来实现它，但至少它有效 - 假设我理解正确。
sk 代表代理键。

library(data.table)
dtrain = data.table( colors = c('red','white','blue'))
dtest = data.table( colors = c('green','white','red'))

decode_to_sk = function(da, db, col_x){
    sk = unique(c(da[, unique(eval(as.name(col_x)))], db[, unique(eval(as.name(col_x)))]))
    lookup = setNames(seq_along(sk), sk)
    j.upd = call(":=", as.name(col_x), call("[", as.name("lookup"), as.name(col_x)))
    # j.upd builds call for `j` arg, here: colors := lookup[colors]
    da[, eval(j.upd)]
    db[, eval(j.upd)]
    return(TRUE)
}
print(dtrain)
#   colors
#1:    red
#2:  white
#3:   blue
print(dtest)
#   colors
#1:  green
#2:  white
#3:    red
decode_to_sk(dtrain, dtest, col_x = "colors")
#[1] TRUE
print(dtrain)
#   colors
#1:      1
#2:      2
#3:      3
print(dtest)
#   colors
#1:      4
#2:      2
#3:      1

如果您希望它用于更大的项目，您想查看我的 R6 类 IM（代表 身份管理），它是 anchormodeling 包的一部分。
不确定，但对于大型数据集，使用 lookup 作为 data.table 而不是命名向量可能会更快，并且 update on join 而不是当前的colors := lookup[colors]。

Answer 2

首先，您的 ab.char.to.numeric 函数将仅返回最后一条语句的结果或明确指定的返回值。以下是我将如何解决这个问题：

ab.char.to.numeric <- function (da, db, col_x)
{
    require(data.table)
    stopifnot(is.data.table(da))
    stopifnot(is.data.table(dt))

    data <- rbindlist(list(da, dt))
    data$col_x <- as.numeric(as.factor(data$col_x))
    da <- data[1:nrow(da)]
    db <- data[(nrow(da) + 1):.N]]

    return list(da, db)
}

或者你可以一起跳过这个函数，只绑定、转换和拆分