将两个数据框与一些公共列合并，其中公共的组合需要是自定义函数

Question

我的问题与Merge pandas dataframe, with column operation 非常相似，但不能满足我的需求。

假设我有两个数据框，例如（请注意，数据框内容可以是浮点数而不是布尔值）：

left = pd.DataFrame({0: [True, True, False], 0.5: [False, True, True]}, index=[12.5, 14, 15.5])
right = pd.DataFrame({0.7: [True, False, False], 0.5: [True, False, True]}, index=[12.5, 14, 15.5])

右

        0.5    0.7
12.5   True   True
14.0  False  False
15.5   True  False

左

        0.0    0.5
12.5   True  False
14.0   True   True
15.5  False   True

如您所见，它们具有相同的索引，并且其中一列是常见的。在现实生活中，可能会有更常见的列，例如 1.0 或其他尚未定义的数字，并且每一侧都有更多独特的列。 我需要组合两个数据框，以便保留所有唯一列，并使用特定函数组合公共列，例如此示例为布尔 OR，而两个数据帧的索引始终相同。

所以结果应该是：

结果

        0.0   0.5    0.7
12.5   True  True   True
14.0   True  True  False
15.5  False  True  False

在现实生活中需要合并的数据帧不止两个，但可以一个接一个地依次合并成一个空的第一个数据帧。

我觉得 pandas.combine 可以解决问题，但我无法从文档中弄清楚。任何人都会对如何通过一个或多个步骤进行操作提出建议。

Answer 1

您可以连接数据帧，然后按列名分组以对名称相似的列应用操作：在这种情况下，您可以不用求和，然后将类型转换回 bool 以获取 or 操作。

import pandas as pd

df = pd.concat([left, right], 1)
df.groupby(df.columns, 1).sum().astype(bool)

输出：

        0.0   0.5    0.7
12.5   True  True   True
14.0   True  True  False
15.5  False  True  False

---

如果您需要了解如何以较少特定于案例的方式执行此操作，那么只需按列分组并将某些内容应用于axis=1 上的分组对象

df = pd.concat([left, right], 1)
df.groupby(df.columns, 1).apply(lambda x: x.any(1))
#        0.0   0.5    0.7
#12.5   True  True   True
#14.0   True  True  False
#15.5  False  True  False

---

此外，您可以定义自定义组合函数。这是一个将左帧添加两倍到右帧的 4 倍。如果只有一列，则返回左帧的 2 倍。

样本数据

左：

      0.0  0.5
12.5    1   11
14.0    2   17
15.5    3   17

右：

      0.7  0.5
12.5    4    2
14.0    4   -1
15.5    5    5

代码

def my_func(x):
    try:
        res = x.iloc[:, 0]*2 + x.iloc[:, 1]*4
    except IndexError:
        res = x.iloc[:, 0]*2
    return res

df = pd.concat([left, right], 1)
df.groupby(df.columns, 1).apply(lambda x: my_func(x))

输出：

      0.0  0.5  0.7
12.5    2   30    8
14.0    4   30    8
15.5    6   54   10

---

最后，如果您想以连续方式执行此操作，那么您应该使用reduce。这里我将 5 DataFrames 与上述函数结合起来。 （我将在示例中重复正确的帧 4x）

from functools import reduce

def my_comb(df_l, df_r, func):
    """ Concatenate df_l and df_r along axis=1. Apply the
    specified function.
    """
    df = pd.concat([df_l, df_r], 1)
    return df.groupby(df.columns, 1).apply(lambda x: func(x))

reduce(lambda dfl, dfr: my_comb(dfl, dfr, func=my_func), [left, right, right, right, right])
#      0.0  0.5  0.7
#12.5   16  296  176
#14.0   32  212  176
#15.5   48  572  220