使用 Pandas 附加 excel 电子表格

Question

我在一个文件夹中有以下数据集：

a) 10 个 excel 电子表格（名称不同）

b) 每个电子表格有 7 个标签。在每个电子表格的 7 个选项卡中，2 个具有完全相同的名称，而其余 5 个具有不同的工作表名称。

c) 我需要连接来自 10 个不同电子表格的五个 Excel 工作表。

d) 在所有 10*5 表中需要连接。

我该怎么做才能连接所有 50 个电子表格，最终输出是一个附加了所有 50 个电子表格的“主”电子表格（不连接每个 Excel 文件中名称完全相同的两张工作表）？

我正在使用以下代码使用 jupyter notebook 连接工作表，但它没有帮助：

​import pandas as pd

xlsx = pd.ExcelFile('A://Data/File.xlsx')
data_sheets = []
for sheet in xlsx.sheet_names:
    data_sheets.append(xlsx.parse(sheet))
data = pd.concat(data_sheets)
print(data)

感谢阅读。

Answer 1

IIUC，您需要阅读 10 个工作簿中的所有工作表，并将每个数据框附加到列表 data_sheets。一种方法是分配一个列表names_to_find 并在您迭代时附加每个工作表名称。

names_to_find =[]
data_sheets = []
for excelfile in excelfile_list:
   xlsx = pd.ExcelFile(excelfile)

   for sheet in xlsx.sheet_names:
      data_sheets.append(xlsx.parse(sheet))
      names_to_find.append(sheet)

读取完所有数据后，您可以使用names_to_find 和np.unique 查找唯一的工作表名称及其频率。

#find unique elements and return counts
unique, counts = np.unique(names_to_find,return_counts=True)

#find unique sheet names with a frequency of one
unique_set = unique[counts==1]

然后您可以使用np.argwhere 查找unique_set 在names_to_find 中存在的索引

#find the indices where the unique sheet names exist 
idx_to_select = np.argwhere(np.isin(names_to_find, unique_set)).flatten()

最后，对列表进行一些理解，您可以对data_sheets 进行子集化以包含感兴趣的数据：

#use list comprehension to subset data_sheets 
data_sheets = [data_sheets[i] for i in idx_to_select]
data = pd.concat(data_sheets)

大家一起：

import pandas as pd
import numpy as np
names_to_find =[]
data_sheets = []
for excelfile in excelfile_list:    
   xlsx = pd.ExcelFile(excelfile)

   for sheet in xlsx.sheet_names:        
      data_sheets.append(xlsx.parse(sheet))
      names_to_find.append(sheet)

#find unique elements and return counts
unique, counts = np.unique(names_to_find,return_counts=True)

#find unique sheet names with frequency of 1
unique_set = unique[counts==1]

#find the indices where the unique sheet names exist 
idx_to_select = np.argwhere(np.isin(names_to_find, unique_set)).flatten()

#use list comprehension to subset data_sheets subset data_sheets
data_sheets = [data_sheets[i] for i in idx_to_select]

#concat the data
data = pd.concat(data_sheets)