为什么 groupby sum 不将布尔值转换为 int 或 float？

Question

我将从 3 个简单的例子开始：

pd.DataFrame([[True]]).sum()

0    1
dtype: int64

---

pd.DataFrame([True]).sum()

0    1
dtype: int64

---

pd.Series([True]).sum()

1

---

所有这些都符合预期。这是一个更复杂的例子。

df = pd.DataFrame([
        ['a', 'A', True],
        ['a', 'B', False],
        ['a', 'C', True],
        ['b', 'A', True],
        ['b', 'B', True],
        ['b', 'C', False],
    ], columns=list('XYZ'))

df.Z.sum()

4

也如预期的那样。但是，如果我groupby(['X', 'Y']).sum()

我希望它看起来像：

我在想错误。还有其他解释吗？

---

根据@unutbu 的回答

pandas 正在尝试将其重铸为原始 dtype。我曾想，也许我表演的 group by 并没有真正 groupby 任何东西。所以我尝试了这个例子来测试这个想法。

df = pd.DataFrame([
        ['a', 'A', False],
        ['a', 'B', False],
        ['a', 'C', True],
        ['b', 'A', False],
        ['b', 'B', False],
        ['b', 'C', False],
    ], columns=list('XYZ'))

我会groupby('X') 和sum。如果@unutbu 是正确的，这些和应该是1 和0 并且可以转换为bool，因此我们应该看到bool

df.groupby('X').sum()

果然……bool

但如果过程相同但值略有不同。

df = pd.DataFrame([
        ['a', 'A', True],
        ['a', 'B', False],
        ['a', 'C', True],
        ['b', 'A', False],
        ['b', 'B', False],
        ['b', 'C', False],
    ], columns=list('XYZ'))

df.groupby('X').sum()

吸取的教训。执行此操作时，请始终使用 astype(int) 或类似名称。

df.groupby('X').sum().astype(int)

为任一场景提供一致的结果。

Answer 1

这是因为_cython_agg_blocks 调用_try_coerce_and_cast_result 调用_try_cast_result 尝试返回与原始值（在本例中为bool）具有相同dtype 的结果。

当Z 具有 dtype bool（并且所有组不超过一个 True 值）时，这会返回一些特殊的东西。如果任何组有 2 个或更多 True 值，则结果值是浮点数，因为 _try_cast_result 不会将 2.0 转换回布尔值。

_try_cast_result 在Z 具有 dtype int 时会做一些更有用的事情：在内部，Cython 聚合器由 df.groupby(['X', 'Y']).sum() 返回数据类型为 float 的 result。然后，_try_cast_result 将结果返回到 dtype int。