创建一个有限制的排列

Question

我正在使用 Python、Pandas 和 Numpy，尽管这个问题感觉像是一个更通用的算法设计问题。

我有一个元素列表（实际上是一个数组），我想生成该列表的排列。但是，某些项目不允许位于列表中的某些位置。我想生成一个遵守这些限制的排列。有什么有效的方法来做到这一点？

我的实际用例是一个 Pandas 数据框，有两列 X 和 Y。 X 和 Y 都具有相同的编号，但顺序不同。数字不是唯一的。同一行的X 和Y 中没有数字出现（即没有数字与自身匹配）。我想置换Y，同时保持没有数字与自身匹配的限制。我一直在 Y 上调用 Numpy 的 permute，但大约 1% 的结果行有 X==Y。

用例子编辑：

import pandas as pd
import numpy as np

data = [[1,2],
        [1,4],
        [4,2],
        [2,3]]

df = pd.DataFrame(columns=['X', 'Y'],
              data=data)


df_permuted = df.copy()

df_permuted.Y = np.random.permutation(df.Y)

print(df.X==df.Y)
#0    False
#1    False
#2    False
#3    False
#dtype: bool

print(df_permuted.X==df_permuted.Y)
#0    False
#1    False
#2    False
#3     True
#dtype: bool

编辑： 明显的算法太慢/无法扩展，是这样的：

for every row i:  
 define the set of valid candidate "other" rows (where i.X != other.Y and i.Y != other.X)
 grab a row from the valid set
 swap i.Y and other.Y

在我们的 Pandas 示例中，这将是：

from numpy.random import choice
for i in df.index:
    other_rows = df[(df.ix[i].X != df.Y) * (df.ix[i].Y != df.X)]
    selected_row = choice(other_rows.index)
    original_Y = df.ix[i].Y
    df.ix[i].Y = df.ix[selected_row].Y
    df.ix[selected_row].Y = original_Y
print(df.X==df.Y)
#0    False
#1    False
#2    False
#3    False
#dtype: bool

问题是这太慢了，而且根本没有并行化。有没有办法并行化它？我想答案是“否”，因为在一行上进行的交换会影响下一行的有效“其他”。

编辑规模感： 大约 1.4*10^7 行，X 中有 2*10^6 个唯一值，Y 中有类似的数字。并且需要生成大约 10^3 个独立排列。我实际上采用多组行并独立排列它们的内容，有些组非常小（例如 10 行），但许多组相当大（10 ^ 5）。这买了一点帮助，但最后还是有很多行！只需在 10^7 行上运行一个简单的 np.random.permutation 大约需要 7 秒，这已经足够了。运行上面的受限置换算法（在 numpy 而不是 pandas 中实现以提高速度）只需 10^3 行就需要 7 秒。哎呀！

Answer 1

我希望我没有提出一个针对您的示例过于具体的解决方案。但是，如果可行，您可能会创建每个排列，然后删除与您的条件不匹配的排列。然后，您可以直接使用它，也可以从结果排列中随机抽样。

这是受您上面示例启发的代码。我意识到我使用的起始假设略有不同：

df = pd.DataFrame( list(itertools.product([1,2,3,4], [1,2,3,4])), columns = ['X','Y'])
print df


    X  Y
0   1  1
1   1  2
2   1  3
3   1  4
4   2  1
5   2  2
6   2  3
7   2  4
8   3  1
9   3  2
10  3  3
11  3  4
12  4  1
13  4  2
14  4  3
15  4  4

然后设置您感兴趣的标准：

print df[df.X != df.Y]

    X  Y
1   1  2
2   1  3
3   1  4
4   2  1
6   2  3
7   2  4
8   3  1
9   3  2
11  3  4
12  4  1
13  4  2
14  4  3

编辑： 我将把上述所有组合垃圾留在那里，因为其他人可能会觉得它很有用。但是在 cmets 中聊天后，我认为我有一个可能的解决方案。

您似乎可以进行排列，然后将排列后的数据帧分成两个子集：

1. 不符合条件的数据（即 X==Y）
2. 符合标准的数据 (X!=Y)

然后我们可以取第一个子集，然后简单地重新排列它。子集 1 应该比子集 2 小得多。我们只是递归地这样做，创建一组符合条件的记录应该非常容易和快速。

当然，我们必须处理只有一行匹配的情况。

我已经实现了一个示例解决方案：

设置一些与真实数据大小相似的播放数据：

np.random.seed(3)
n=14000000
df = pd.DataFrame({'X' : np.random.randint(2000000, size=n), 
                   'Y' : np.random.randint(2000000, size=n)})

示例数据将从一些重复的行开始，但这没关系。让我们创建 shuffle 函数：

def permuteDataFrame(inDf):
    permutedDf = pd.DataFrame({'X' : np.random.permutation(inDf.X), 
                               'Y' : np.random.permutation(inDf.Y)})
    # check for dupes
    clash = permutedDf[permutedDf.X == permutedDf.Y] 
    if clash.shape[0] > 1: #repermuting can't work if only one row has a match
        clash = permutedDf[permutedDf.X == permutedDf.Y].copy()
        noclash = permutedDf[permutedDf.X != permutedDf.Y].copy()
        # recursion FTW: run the clashes back through this algo
        clash = permuteDataFrame(clash)
        permutedDf = pd.concat([clash, noclash ])
    if clash.shape[0] == 1: # handle the single match problem
        # solving the single match by grabbing the single match plus a random other record and permuting
        # get the vector of bools that indicate matches
        clashIndex = permutedDf.X == permutedDf.Y
        # randomly make another one True
        ilocToSwap = np.random.randint(permutedDf.shape[0]) # random record location to swap
        indexOfClashes.iloc[ilocToSwap] = True
        clash = permutedDf[indexOfClashes]
        # recursion FTW: run the clashes back through this algo
        clash = permuteDataFrame(clash)
        permutedDf = pd.concat([clash, noclash ])
    return permutedDf

在我的 Mac 上，一个简单的排列需要 5.3 秒。新的permuteDataFrame() 函数需要 5.8 秒。即使在您的机器上花费 8 秒，您也将在 2.2 小时内获得 1000 个。那可能行得通。

Answer 2

你为什么不做你正在做的事情（排列 Y），但最后只是检查以确保没有匹配：

if (df.X == df.Y).any():
    reject_dataframe()