如何在不覆盖列值的情况下连接数据帧

Question

我正在尝试在 for 循环中创建 DataFrame 列表，然后将它们连接到 for 循环之外并写入 excel。我已经让代码接近了，但由于某种原因，在 for 循环中创建的列最终成为最终值，而不是循环时的每个单独值。我确信这非常简单，我只是错过了一些简单的东西，但今晚似乎无法弄清楚。这里有一些虚拟代码来说明和帮助解决问题。最后，我想要一个 wks 1 - 9 的 excel 输出。但是，在我的实际输出中，wk 列中的所有值都等于 9。

import pandas as pd
sample = []
area = pd.Series({'California':423967, 'Texas':695662})
pop = pd.Series({'California':38332521, 'Texas':26448193})

data = pd.DataFrame({'area':area, 'pop':pop})
print(data)

for i in range(10):
    data['wk'] = i
    sample.append(data)
    print(data)

res = pd.concat(sample)
res.to_excel("Concatenating DataFrames.xlsx", index=False)

Answer 1

问题在于，当您将数据附加到列表时，它不会为其创建单独的内存，而是它们都引用相同的内存，这就是为什么在循环中最后一次更新后它变为 9 或最终值的原因。

只是替换

sample.append(data)

与

sample.append(data.copy())

.copy() 将强制 pandas 为循环中的每个 df 创建新内存

Answer 2

在一个循环中制作多个数据帧并将它们连接起来是非常低效的。最好在列表或字典上进行迭代，然后在循环之后创建一个数据框。为此，我在下面将您的系列转换回字典。请注意，必须在循环的每次迭代中复制字典，以便循环不会不断改变原始字典。

import pandas as pd
import openpyxl
from copy import deepcopy

area = pd.Series({'California':423967, 'Texas':695662})
pop = pd.Series({'California':38332521, 'Texas':26448193})
area_d = area.to_dict()
pop_d = pop.to_dict()

sample = []
for i in range(10):
    area_copy = deepcopy(area_d)
    pop_copy = deepcopy(pop_d)
    area_copy['wk'] = i
    pop_copy['wk'] = i
    sample += [area_copy, pop_copy]
df = pd.DataFrame(sample)
df.to_excel("result.xlsx", index = False)