大熊猫中的分组排序

Question

我想在另一个数组中定义的组边界内对一个数组进行排序。这些组不会以任何方式进行预排序，并且需要在排序后保持不变。在numpy 术语中，它看起来像这样：

import numpy as np

def groupwise_sort(group_idx, a, reverse=False):
    sortidx = np.lexsort((-a if reverse else a, group_idx))
    # Reverse sorting back to into grouped order, but preserving groupwise sorting
    revidx = np.argsort(np.argsort(group_idx, kind='mergesort'), kind='mergesort')
    return a[sortidx][revidx]

group_idx =   np.array([3, 2, 3, 2, 2, 1, 2, 1, 1])
a =           np.array([3, 2, 1, 7, 4, 5, 5, 9, 1])
groupwise_sort(group_idx, a)
# >>>            array([1, 2, 3, 4, 5, 1, 7, 5, 9])
groupwise_sort(group_idx, a, reverse=True)
# >>>            array([3, 7, 1, 5, 4, 9, 2, 5, 1])

我怎样才能对pandas 做同样的事情？我看到了df.groupby() 和df.sort_values()，尽管我找不到实现相同排序的直接方法。如果可能的话，还有一个快速的。

Answer 1

让我们先做好准备：

import pandas as pd
import numpy as np

group_idx =   np.array([3, 2, 3, 2, 2, 1, 2, 1, 1])
a =           np.array([3, 2, 1, 7, 4, 5, 5, 9, 1])

df = pd.DataFrame({'group': group_idx, 'values': a})
df
#   group  values
#0      3       3
#1      2       2
#2      3       1
#3      2       7
#4      2       4
#5      1       5
#6      2       5
#7      1       9
#8      1       1

获取按组和值（组内）排序的数据框：

df.sort_values(["group", "values"])

#   group  values
#8      1       1
#5      1       5
#7      1       9
#1      2       2
#4      2       4
#6      2       5
#3      2       7
#2      3       1
#0      3       3

要按降序对值进行排序，请使用ascending = False。要将不同的顺序应用于不同的列，您可以提供一个列表：

df.sort_values(["group", "values"], ascending = [True, False])

#   group  values
#7      1       9
#5      1       5
#8      1       1
#3      2       7
#6      2       5
#4      2       4
#1      2       2
#0      3       3
#2      3       1

这里，组按升序排序，每个组内的值按降序排序。

要仅对属于同一组的连续行的值进行排序，请创建一个新的组指示符：

（我将其保留在此处以供参考，因为它可能对其他人有帮助。在 OP 在 cmets 中澄清他的问题之前，我在早期版本中编写了此内容。）

df['new_grp'] = (df.group.diff(1) != 0).astype('int').cumsum()
df
#   group  values  new_grp
#0      3       3        1
#1      2       2        2
#2      3       1        3
#3      2       7        4
#4      2       4        4
#5      1       5        5
#6      2       5        6
#7      1       9        7
#8      1       1        7

然后我们可以轻松地使用new_grp 而不是group 进行排序，而不会改变组的原始顺序。

在组内排序，但保留指定组的行位置：

要对每个组的元素进行排序但保留数据框中特定于组的位置，我们需要跟踪原始行号。例如，以下内容可以解决问题：

# First, create an indicator for the original row-number:

df["ind"] = range(len(df))

# Now, sort the dataframe as before
df_sorted = df.sort_values(["group", "values"])

# sort the original row-numbers within each group
newindex = df.groupby("group").apply(lambda x: x.sort_values(["ind"]))["ind"].values

# assign the sorted row-numbers to the sorted dataframe
df_sorted["ind"] = newindex

# Sort based on the row-numbers:
sorted_asc = df_sorted.sort_values("ind")

# compare the resulting order of values with your desired output:
np.array(sorted_asc["values"])
# array([1, 2, 3, 4, 5, 1, 7, 5, 9])

当写在一个函数中时，这更容易测试和分析，所以让我们这样做：

def sort_my_frame(frame, groupcol = "group", valcol = "values", asc = True):

    frame["ind"] = range(len(frame))
    frame_sorted = frame.sort_values([groupcol, valcol], ascending = [True, asc])
    ind_sorted = frame.groupby(groupcol).apply(lambda x: x.sort_values(["ind"]))["ind"].values
    frame_sorted["ind"] = ind_sorted
    frame_sorted = frame_sorted.sort_values(["ind"])

    return(frame_sorted.drop(columns = "ind"))

np.array(sort_my_frame(df, "group", "values", asc = True)["values"])
# array([1, 2, 3, 4, 5, 1, 7, 5, 9])
np.array(sort_my_frame(df, "group", "values", asc = False)["values"])
# array([3, 7, 1, 5, 4, 9, 2, 5, 1])

请注意，后面的结果与您想要的结果相符。

我相信这可以用更简洁的方式写出来。例如，如果您的dataframe 的索引已经排序，您可以使用该索引代替我创建的指标ind（即，按照@DJK 的评论，我们可以使用sort_index 代替sort_values 并避免分配一个额外的列）。无论如何，上面强调了一种可能的解决方案以及如何处理它。另一种方法是使用您的numpy 函数并将输出包装在pd.DataFrame 周围。

Answer 2

Pandas 建立在 numpy 之上。假设这样的数据框：

df
Out[21]: 
   group  values
0      3       3
1      2       2
2      3       1
3      2       7
4      2       4
5      1       5
6      2       5
7      1       9
8      1       1

调用你的函数。

groupwise_sort(df.group.values, df['values'].values)
Out[22]: array([1, 2, 3, 4, 5, 1, 7, 5, 9])

groupwise_sort(df.group.values, df['values'].values, reverse=True)
Out[23]: array([3, 7, 1, 5, 4, 9, 2, 5, 1])