从一个目录中读取 pandas 中的多个文件 csv 并将它们存储在一个列表数组中，每个文件作为一个观察值

Question

我有一个文件夹，里面有 30 个 CSV 文件，名称各不相同。

我想遍历所有文件并分别使用 pandas 读取它们，并将它们存储在列表列表中。在单独阅读它们时，我还想同时从中删除一些变量，例如删除相关的列。

目前，我正在尝试这样做。

import glob
import pandas as pd
path = os.getcwd()


# Get folder path containing text files
file_list = glob.glob(path + '/*.csv')
data = []
for file_path in file_list:
    data.append(
        pd.read_csv(file_path).drop(['column1', 'column2'], axis =1))
# now you can access it outside the "for loop..."
for d in data:
    print(d) 

所以，我想将每个数据帧作为二维列表存储在一个列表中并训练我的模型，因为每个 [ [CSV][2] ][3] 文件都是一个观察值。我的 CSV 文件有 (5000,12) 个观察值。每个 CSV 或实例都有标签，即文件名。

不知道我是否朝着正确的方向前进。

len(data) 
# 30

label = [1,1,1,1,1,1,1,1,1,1,,2,2,2,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3]
max_length = 25 # shape of data frame after removing two variables
# define the model

model = Sequential()
model.add(Dense(24, input_dim=25, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
# compile the model
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc'])
# summarize the model
print(model.summary())

Answer 1

我认为您可以使用 keys 从文件名创建 dictionary of DataFrames：

file_list = glob.glob(path + '/*.csv')
dfs = {os.path.basename(fp).split('.')[0]: 
       pd.read_csv(fp).drop(['column1', 'column2'], axis=1) for fp in file_list}

供选择使用：

print (dfs['turbo1'])

编辑：

dfs=np.array([pd.read_csv(fp).drop(['column1','column2'],axis=1).values for fp in file_list])