减少函数中的多个返回

Question

我想连接几个数据帧。

df_t = pd.DataFrame({"a": [0, 1, 2], "b": [1,2,3], "c": [9,8,7]})
df_t2 = pd.DataFrame({"a": [0, 1, 2], "b": [np.nan,0,3], "d": [9,8,7]})
...

在这样做之前，我必须调用另一个函数，该函数接受一个数据帧并返回一个数据帧和一个列表

例如：

def do(a):
  a = sth(a)
  return a, a.columns.tolist()

我想将 concat 函数应用于每个数据帧并扩展每个数据帧的返回列列表

reduce(lambda y, y2: pd.concat([y,y2]), map(lambda x: do(x), [df_t,df_t2,...]))

但是，当它尝试在第二次迭代中连接我的列表时出现错误。这甚至可以在减少中解决吗？是否有另一种内存友好的方法来解决这个问题？

目标是有一个连接和处理的数据框和所有列的列表。

Answer 1

将列处理卸载到共享变量，该变量在高阶函数运行之前更新。

from threading import Lock

class Store:
    data = []
    lock = Lock()


def do(df):
    df = sth(df)
    lock = Store.lock
    lock.acquire()
    Store.data.append(df.columns.tolist())
    lock.release()
    return df

reduce(lambda y, y2: pd.concat([y,y2]), map(lambda x: do(x), [df_t,df_t2]))

   a    b    c    d
0  0  1.0  9.0  NaN
1  1  2.0  8.0  NaN
2  2  3.0  7.0  NaN
0  0  NaN  NaN  9.0
1  1  0.0  NaN  8.0
2  2  3.0  NaN  7.0

print(Store.data)
>> [['a', 'b', 'c'], ['a', 'b', 'd']]