将一个 pandas DataFrame 的副本合并到另一个 DataFrame 的每一行中？

Question

我有一个场景，我想通过将另一个较小的表合并到数据帧的每一行来扩展数据帧。

换句话说，如果大表是 10 行，小表是 2 行，那么结果将是一个长度为 20 的表，其中原始表中的每一行都是重复的，而小表中的新列被合并了。

为了实现这一点，我编写了一个小函数，在每个表中添加一个公共列，在该列上合并，然后删除该列。

def merge_expand(big, small):
    placeholder = "__placeholderstring__"
    big.insert(0, placeholder, 1)
    small.insert(0, placeholder, 1)
    merged = big.merge(small, how='left', on=placeholder)
    merged.drop(columns=placeholder, inplace=True)
    return merged

# example
big = pd.DataFrame({'a': [1,2,3], 'b': [4,5,6]})
small = pd.DataFrame({'id': ['aa','bb'], 'val':['a','b']})
merge_expand(big, small)

# output:
   a  b  id val
0  1  4  aa   a
1  1  4  bb   b
2  2  5  aa   a
3  2  5  bb   b
4  3  6  aa   a
5  3  6  bb   b

这可以完成这项工作，但在我看来它很老套，可能不是最有效的解决方案，因为它需要执行多个 DataFrame 操作。处理这个问题的最有效方法是什么？

Answer 1

我相信还有更短的方法。给定数据帧 df1 和 df2，你可以这样做

df = df1.merge(df2, how='cross')

或

df = df2.merge(df1, how='cross')

您可能会实现一个简单的 if-then-else 来确定哪个数据框更小或更大。但这不包括合并操作。

Answer 2

看起来您正在寻找完全联接/笛卡尔联接。如果我们为所有观察分配相同的key，则可以使用pd.merge 来完成。

big.assign(key=1).merge(small.assign(key=1), how='outer', on='key')

输出

   a  b  key  id val
0  1  4    1  aa   a
1  1  4    1  bb   b
2  2  5    1  aa   a
3  2  5    1  bb   b
4  3  6    1  aa   a
5  3  6    1  bb   b

如果您已经有一个名为“key”的列，则基本上可以将其命名为任何内容：

big['thiswontmatchanything'] = 1
small['thiswontmatchanything'] = 1

big.merge(small, how='outer', on='thiswontmatchanything').drop('thiswontmatchanything', axis=1)

输出

    a   b   id  val
0   1   4   aa  a
1   1   4   bb  b
2   2   5   aa  a
3   2   5   bb  b
4   3   6   aa  a
5   3   6   bb  b

Answer 3

以下内容可能不那么骇人听闻：

每个数据帧都按照另一个原始数据帧的长度复制行 第一个按“a”列排序，但您可以调整它 然后将两个数据框沿 hte 列轴 (1) 连接以达到所需的结果。

def merge_expand(*args):
    tmp_big = pd.concat([args[0]] * len(small), ignore_index=True).sort_values(by=['a']).reset_index(drop=True)
    tmp_small = pd.concat([args[1]] * len(big), ignore_index=True)
    return pd.concat([tmp_big, tmp_small], 1)

输入：

merge_expand(big, small)

输出：

   a  b  id val
0  1  4  aa   a
1  1  4  bb   b
2  2  5  aa   a
3  2  5  bb   b
4  3  6  aa   a
5  3  6  bb   b

编辑：如果你想传递一些参数，我们甚至可以让它更通用一点：

def merge_expand(*args):
    if len(args) == 2:
        if len(args[0]) > len(args[1]):
            df_1 = pd.concat([args[0]] * len(args[1]), ignore_index=True).sort_values(by=[args[0].columns[0]]).reset_index(drop=True)
            df_2 = pd.concat([args[1]] * len(args[0]), ignore_index=True)
            return pd.concat([df_1, df_2], 1)