通过数据框中最相似的字符串对所有行和列进行排序

Question

我有一个包含许多列和行的数据框，完全未排序。我想对每一列中的行进行排序，以使每一行中的每个元素都与所有其他列中最相似的元素相邻。我知道this 解决方案，但我希望在多个列表/列之间进行比较，例如排序算法。

     col1     col2      col3      col4
0    Some     Black     Red       Sky
1    Blue     Green     Floor     Bucket
2    Blacky   Same      Green     Rad

让我们考虑第一个字母（前 2？3？）必须是精确命中。这会导致

     col1     col2      col3      col4
0    Some     Same                Sky       #Some and Same are very similar, Sky is the closest in col4                                 
1    Blue                                   #No match for Blue 
2    Blacky   Black               Bucket    #Black,Blacky are similar, and more similar to Bucket
3             Green     Green               #Exact match
4                       Red       Rad       #Similar Match
5                       Floor               #No word started with F in any other column

为了解决这个问题，我想到了：

1. 对于每一列，构建所有其他列中所有元素的唯一列表，并将目标列与共识对齐。但我不确定之后会怎样
2. 对于每个元素，为其他每一列找到最接近的 1 个元素。
3. 按字母顺序排序。

以上都有问题，在所有情况下我都需要做一些人工检查（这很好）。

Answer 1

1. 为每个单词分配一个 id。
2. 预先计算每个单词与其他列中的每个单词之间的 Levenshtein 距离。将结果存储在方阵中，按单词的 id 进行索引。
3. 将行的成本定义为行中所有单词对之间的距离之和。
4. 现在您需要为每个单词分配一行，以最小化所有行的成本总和，同时遵守同一列中的单词必须位于不同行的约束。这个优化问题是一个二次赋值问题，可以很容易地传递给二次整数规划库。

在第 1 步中，在赋予 ids 时，ids 必须是唯一的，因此认为所有的词都是不同的。两个词是否相同并不重要；无论如何给他们不同的ID。

在第 2 步中，您需要在对应于同一列中的成对单词的单元格中放置一些默认值；您选择的值无关紧要。

在第 4 步中，约束可以改写为“每一行在每一列中只出现一次”，这是一个简单的线性约束。