在 Pandas DataFrame 列中进行整数编码后，将 dtype 保留为类别

Question

我有一个从 csv 读取的 Pandas DataFrame，其中包含一些带有字符串值的列，但实际上是 object 类型。因为它们是分类的，所以我将它们转换为category，然后转换为整数表示，然后我拟合一个随机森林回归器。

for col in df_raw.select_dtypes(include='object'):
    df_raw[col] = df_raw[col].astype('category')
    df_raw[col] = df_raw[col].cat.codes #not 'category' type anymore.

问题是如果我这样做，那么dtype 会立即转换为int，我会丢失cat 信息，我稍后需要。

例如，在循环的第一行之后，我可以运行df_raw[col].cat，我会得到预期的索引类别。但是一旦执行第二行，dtype 列变为int8，就会报错：

只能将 .cat 访问器与 'category' dtype 一起使用`

这在某种程度上说得通，因为它的 dtype 是 int8。

是否可以在同一个 DataFrame 中保留类别编码信息，同时使用整数编码来适应回归器？怎么样？

Answer 1

你可以使用

train.col = pd.Categorical(train.col)

让它从 int 回到分类类型

然后运行

train.col.cat.codes  

Answer 2

1.简单的想法

为什么不在回归拟合中使用派生列，例如：

df_raw[col + '_calculated'] = df_raw[col].cat.codes

通过这种方式，您可以同时拥有：一个不会更改此功能的分类列 col 和一个带有 ints 的“计算”列，以供进一步处理？

2。更聪明的方法

另一种方法是在将数据帧传递给fit 方法之前包装数据帧，使回归器直接访问.cat.codes 而不是分类值：

def access_wrapper(dframe, col):
   yield from dframe[col].cat.codes

fit(..., access_wrapper(df, col))

通过这种方式，您根本不会影响数据帧，也不会从 df[col] 复制值，而代价是每次访问该值时都会调用 dframe[col].cat.codes（这应该相当快）。