在 pandas 中分析来自多个 .txt 文件的数据

Question

我有 1000 多个文本文件。每个都有日期（我已经创建了索引）和股票价格（第 0 列）。我创建了代码来查找单个文件的价格移动平均线，以及价格和移动平均线之间的滚动差异。我想为每个文件创建代码来执行此操作。我必须分组上传它们，因为一次上传它们会占用太多内存。

我想我必须使用 for 循环来遍历文件并找到每个文件的指标。但我该怎么做呢？如何将所有文件上传到一个组中，比如将它们分组到一个变量中，然后创建一个循环来找到每个文件的移动平均线和价格差异？

编辑：我正在使用 numpy、pandas 和 matplotlib。我还希望能够找到与移动平均线的差异最大的股票。

任何帮助将不胜感激

Answer 1

如果您只想遍历给定文件夹中的所有输入文件，您可能想尝试os.listdir() 来获取文件名列表，然后您可以按顺序处理。如果您的文件分布在多层文件夹中，您可以使用 os.walk() 遍历目录。您可以在此处找到有关这些方法的信息：https://docs.python.org/3/library/os.html

Answer 2

这 1000 个文件有多大？如果它们每个都是几 MB，只是猜测，将所有文件合并到一个文件中，你可以用它做任何你想做的事情。

import pandas as pd
import csv
import glob
import os

#os.chdir("C:\\Users\\Excel\\Desktop\\test\\")
results = pd.DataFrame([])
filelist = glob.glob("C:\\your_path\\*.csv")
#dfList=[]
for filename in filelist:
    print(filename)  
    namedf = pd.read_csv(filename, skiprows=0, index_col=0)
    results = results.append(namedf)

results.to_csv('C:\\your_path\\CombinedFile.csv')