Pandas 系列 value_counts 对不同计数的工作方式不同

Question

例如：

df1 = pd.DataFrame(np.repeat(np.arange(1,7),3), columns=['A'])

df1.A.value_counts(sort=False)
1    3
2    3
3    3
4    3
5    3
6    3
Name: A, dtype: int64

---

df2 = pd.DataFrame(np.repeat(np.arange(1,7),100), columns=['A'])

df2.A.value_counts(sort=False)
1    100
2    100
3    100
4    100
5    100
6    100
Name: A, dtype: int64

---

在上述示例中，value_counts 完美运行并提供所需的结果。而当处理更大的数据帧时，它会给出不同的输出。这里A 的值已经排序并且计数也相同，但是A 的索引顺序在value_counts 之后发生了变化。为什么它对少量计数正确但对大量计数不正确：

df3 = pd.DataFrame(np.repeat(np.arange(1,7),1000), columns=['A'])

df3.A.value_counts(sort=False)
4    1000
1    1000
5    1000
2    1000
6    1000
3    1000
Name: A, dtype: int64

在这里我可以使用df3.A.value_counts(sort=False).sort_index() 或df3.A.value_counts(sort=False).reindex(df.A.unique())。我想知道它在不同计数下表现不同的原因？

使用：

Numpy version :1.15.2
Pandas version :0.23.4

Answer 1

这实际上是一个已知的问题。

如果您浏览源代码 -

1. C:\ProgramData\Anaconda3\Lib\site-packages\pandas\core\algorithims.py line 581 是原始实现
2. 当bins=None 时，它调用_value_counts_arraylike 获取int64 值
3. 此函数调用 - keys, counts = htable.value_count_int64(values, dropna)

如果您随后查看htable 的实现，您会得出结论，键的顺序是任意的，这取决于hashtable 的工作方式。

它不保证任何类型的订购。通常，此例程按最大值排序，这几乎总是您想要的。

我想他们可以将其更改为 sort=False 表示原始订购。我不知道这是否真的会破坏任何东西（并且在内部完成这并不是很昂贵，因为已经知道唯一性）。

订单从pandas/hashtable.pyx.build_count_table_object()更改。调整 pymap 的大小通过散列值移动条目。

这里是full 讨论