将 xlsx 中的数据读入 Pandas 数据框

Question

场景：我把这个小科学怪人的代码放在一起（在 SO 用户的一些很棒的帮助下）从 excel 文件中获取数据并放入 pandas 数据框。

我正在尝试做的事情：我正在尝试从可能包含一个或多个数据工作表的文件中获取数据。之后，我打算相应地组织数据框。例如：

date1    identifier 1    bid     ask
date1    identifier 2    bid     ask
date1    identifier 3    bid     ask
date2    identifier 1    bid     ask
date2    identifier 3    bid     ask
date3    identifier 4    bid     ask
date3    identifier 5    bid     ask

Obs1：每个文件都可以在单独的工作表中包含“投标”、“要求”或两者的值。

Obs2：不同文件的标识符和日期可能相同，也可能不同。

到目前为止我做了什么：我当前的代码读取文件和每个工作表。如果它遵循条件，它会附加到特定的数据帧。然后它会修复列标题。

问题：当我的代码运行时，由于某种原因，它会产生两个空数据帧。

问题：我如何考虑不同的工作表并将相应的值（到上面的结构）输出到数据框？

当前代码：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import glob, os
import datetime as dt
from datetime import datetime
import matplotlib as mpl
from openpyxl import load_workbook


directory = os.path.join("C:\\","Users\\DGMS\\Desktop\\final 2")        
list_of_dfs = []
dfbid = pd.DataFrame()
dfask = pd.DataFrame()

for root,dirs,files in os.walk(directory):

    for file in files:

        f = os.path.join(root, file)

        wb = load_workbook(f)

        for sheet in wb.worksheets:
            if sheet == "Bid":
                dfbid = pd.concat([dfbid, pd.read_excel(f, "Bid")])
                for i in range(1,len(dfbid.columns)):
                    dfbid.columns.values[i] = pd.to_datetime(dfbid.columns.values[i])

            elif sheet == "Ask":
                dfask = pd.concat([dfask, pd.read_excel(f, "Ask")])
                for i in range(1,len(dfask.columns)):
                    dfask.columns.values[i] = pd.to_datetime(dfask.columns.values[i])

Answer 1

将您的代码在不同函数中所做的不同事情分开。

• 查找 excel 文件
• 读取 excel 文件
• 将内容转换为datetime
• 连接数据帧

这样您就可以分别检查和检查每个步骤，而不是全部交织在一起

查找 excel 文件

import pandas as pd
from pathlib import Path

root_dir = Path(r"C:\Users\DGMS\Desktop\final 2")

files = root_dir.glob('**/*.xlsx')

读取 excel 文件

读取每个文件并返回工作表'Bid'和'Ask'，然后生成2个Dataframes列表

def parse_workbook(file):
    d = pd.read_excel(file, sheetname=None)
    return d.get('Bid', None), d.get('Ask', None)

df_bid_dfs, df_ask_dfs = zip(*(parse_workbook(file) for file in files))

将内容转换为datetime

def parse_datetime(df):
    for column_name, column in df.iteritems():
        df[column_name] = pd.to_datetime(column)
    return df

连接数据帧

df_bid = pd.concat(parse_datetime(df) for df in df_bid_dfs if df)
df_ask = pd.concat(parse_datetime(df) for df in df_ask_dfs if df)

测试parse_datetime 和连接

df1 = pd.DataFrame(['20170718'])
df2 = pd.DataFrame(['20170719'])
df_bid_dfs = (df1, df2)

pd.concat(parse_datetime(df) for df in df_bid_dfs)

    0
0   2017-07-18
0   2017-07-19