如何删除 numpy 数组中的重复项并保持其排序

Question

我有一个 numpy 数组列表，想要删除重复项并保持排序数据的顺序。这是我的重复数组：

dup_arr=[np.array([[0., 10., 10.],\
                   [0., 2., 30.],\
                   [0., 3., 5.],\
                   [0., 3., 5.],\
                   [0., 3., 40.]]),\
         np.array([[0., -1., -4.],\
                   [0., -2., -3.],\
                   [0., -3., -5.],\
                   [0., -3., -6.],\
                   [0., -3., -6.]])]

我尝试使用以下代码：

clean_arr=[]
for i in dup_arr:
    new_array = [tuple(row) for row in i]
    uniques = np.unique(new_array, axis=0)
    clean_arr.append(uniques)

但是这种方法的问题是它改变了我的数据的排序，我不想再次对它们进行排序，因为这对我的真实数据来说是一项艰巨的任务。我想得到以下结果：

clean_arr=[np.array([[0., 10., 10.],\
                     [0., 2., 30.],\
                     [0., 3., 5.],\
                     [0., 3., 40.]]),\
           np.array([[0., -1., -4.],\
                     [0., -2., -3.],\
                     [0., -3., -5.],\
                     [0., -3., -6.]])]

但是代码会打乱它。我也尝试了愚蠢的 for 循环，但它也没有成功，因为我无法迭代直到我的数据结束并在到达我的列表的每个数组的末尾之前停止第二个 for 循环。

clean_arr=[]
for arrays in dup_arr:
    for rows in range (len(arrays)-1):
        if np.all(arrays [rows]== arrays [rows+1]):
            continue
        else:
            dat= arrays [rows]
            clean_arr.append(dat)

在此先感谢您的帮助和贡献。

Answer 1

您可以简单地将np.unique 与axis=0 一起使用。如果你想保持原始序列的顺序，试试这个 -

[i[np.sort(np.unique(i, axis=0, return_index=True)[1])] for i in dup_arr]

[array([[ 0., 10., 10.],
        [ 0.,  2., 30.],
        [ 0.,  3.,  5.],
        [ 0.,  3., 40.]]),
 array([[ 0., -1., -4.],
        [ 0., -2., -3.],
        [ 0., -3., -5.],
        [ 0., -3., -6.]])]

1. np.unique(i, axis=0, return_index=True)[1] 返回唯一元素的索引。
2. np.sort() 将这些索引排序回数组中的原始序列。
3. [f(i) for i in dup_arr] 对 dup_arr 中的每个元素应用上述 2 个步骤。

注意：您将无法完全矢量化此操作（例如 np.stack 在此操作上，因为它可能会从每个矩阵中删除变量重复项。这将导致 numpy 数组在轴上具有不相等的形状。

---

将步骤分解为函数-

def f(a):
    indexes = np.unique(a, axis=0, return_index=True)[1]
    return a[np.sort(indexes)]

[f(i) for i in dup_arr]

Answer 2

以我的拙见，每次你想在 Python 中从数组或列表中删除重复项时，都应该考虑使用集合。

另外，尽量避免使用多个嵌套循环，因为错误很容易发生并且很难找到。我建议你试试下面的代码：

removed_duplicates=[]
    
for subarr in dup_arr:
    removed_duplicates.append(np.array([list(item) for item in set(tuple(row) for row in subarr)]))

基本上发生的事情是将数组转换为元组，然后转换为删除所有重复项的集合，然后转换为列表。由于您的原始数据有一个 np.arrays 数组，因此您将列表转换回 np.array，然后再将其附加到新数组。

这行得通吗？