熊猫唯一值多列答案

【问题标题】：pandas unique values multiple columns熊猫唯一值多列
【发布时间】：2015-01-14 14:58:15
【问题描述】：

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

返回 'Col1' 和 'Col2' 的唯一值的最佳方法是什么？

想要的输出是

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

【问题讨论】：

另请参阅unique combinations of values in selected columns in pandas data frame and count，了解不同但相关的问题。那里选择的答案使用df1.groupby(['A','B']).size().reset_index().rename(columns={0:'count'})

标签： python pandas dataframe unique

【解决方案1】：

pd.unique 从输入数组、DataFrame 列或索引返回唯一值。

此函数的输入需要是一维的，因此需要组合多个列。最简单的方法是选择所需的列，然后在展平的 NumPy 数组中查看值。整个操作是这样的：

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

注意ravel() 是一个数组方法，它返回一个多维数组的视图（如果可能）。参数'K' 告诉方法按照元素存储在内存中的顺序展平数组（pandas 通常将底层数组存储在Fortran-contiguous order；行前的列）。这比使用方法的默认“C”顺序要快得多。

另一种方法是选择列并将它们传递给np.unique：

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

这里不需要使用ravel()，因为该方法处理多维数组。即便如此，这可能会比pd.unique 慢，因为它使用基于排序的算法而不是哈希表来识别唯一值。

对于较大的 DataFrame（特别是只有少数唯一值的情况），速度差异非常显着：

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

【讨论】：

如何获取数据帧而不是数组？
@Lisle：这两种方法都返回一个 NumPy 数组，因此您必须手动构造它，例如 pd.DataFrame(unique_values)。没有直接取回 DataFrame 的好方法。
@Lisle 因为他使用了 pd.unique 它返回一个 numpy.ndarray 作为最终输出。这是你问的吗？
@Lisle，也许这个 df = df.drop_duplicates(subset=['C1','C2','C3'])？
要仅将您需要的列放入数据框中，您可以执行 df.groupby(['C1', 'C2', 'C3']).size().reset_index().drop(列=0）。这将执行一个组，默认情况下将选择唯一组合并计算每个组的项目数 reset_index 将从多索引变为平面二维。最后是删除项目数列。

【解决方案2】：

这是另一种方式


import numpy as np
set(np.concatenate(df.values))

【讨论】：

【解决方案3】：

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

输出将是 ['玛丽'，'乔'，'史蒂夫'，'鲍勃'，'比尔']

【讨论】：

【解决方案4】：

对于我们这些热爱 pandas、apply，当然还有 lambda 函数的人：

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

【讨论】：

【解决方案5】：

如果使用多列，使用 numpy v1.13+ 的更新解决方案需要在 np.unique 中指定轴，否则数组会被隐式展平。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

此更改于 2016 年 11 月推出：https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

【讨论】：

【解决方案6】：

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

或者：

set(df.Col1) | set(df.Col2)

【讨论】：

【解决方案7】：

我已经设置了一个DataFrame，它的列中有一些简单的字符串：

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以将您感兴趣的列连接起来并调用unique函数：

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

【讨论】：

当你有这样的this_is_uniuqe = { 'col1': ["Hippo", "H"], "col2": ["potamus", "ippopotamus"], } 时，这不起作用@

【解决方案8】：

非pandas解决方案：使用set()。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

输出：

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

【讨论】：