【问题标题】:Python: Reading Data from Multiple CSV Files to ListsPython:从多个 CSV 文件中读取数据到列表
【发布时间】:2023-03-27 06:22:01
【问题描述】:

我正在使用 Python 3.5 在目录和子目录中移动以访问 csv 文件并用这些文件中的数据填充数组。代码遇到的第一个 csv 文件如下所示:

我的代码如下:

import matplotlib.pyplot as plt
import numpy as np
import os, csv, datetime, time, glob

gpheight = []
RH = []
dewpt = []
temp = []
windspd = []
winddir = []

dirpath, dirnames, filenames = next(os.walk('/strm1/serino/DATA'))

count2 = 0
for dirname in dirnames:
    if len(dirname) >= 8:
        try:
            dt = datetime.datetime.strptime(dirname[:8], '%m%d%Y')
            csv_folder = os.path.join(dirpath, dirname)
            for csv_file2 in glob.glob(os.path.join(csv_folder, 'figs', '0*.csv')):
                if os.stat(csv_file2).st_size == 0:
                    continue
                #create new arrays for each case
                gpheight.append([])
                RH.append([])
                temp.append([])
                dewpt.append([])
                windspd.append([])
                winddir.append([])
                with open(csv_file2, newline='') as f2_input:
                    csv_input2 = csv.reader(f2_input,delimiter='    ')
                    for j,row2 in enumerate(csv_input2):
                        if j == 0:
                            continue #skip header row
                        #fill arrays created above
                        windspd[count2].append(float(row2[5]))
                        winddir[count2].append(float(row2[6]))
                        gpheight[count2].append(float(row2[1]))
                        RH[count2].append(float(row2[4]))
                        temp[count2].append(float(row2[2]))
                        dewpt[count2].append(float(row2[3]))
                count2 = count2 + 1
        except ValueError as e:
            pass

我已将其设置为为每个新的 csv 文件创建一个新数组。但是,当我打印第三列(温度)时,

for n in range(0,len(temp)):
    print(temp[0][n])

它只打印部分数据列:

-70.949997
-68.149994
-60.449997
-63.649994
-57.449997
-51.049988
-45.349991
-40.249985
-35.549988
-31.249985
-27.149994
-24.549988
-22.149994
-19.449997
-16.349976
-13.25
-11.049988
-8.949982
-6.75
-4.449982
-2.25
-0.049988

此外,我认为一个相关的问题是,当我简单地这样做时,

print(temp)

它打印

带有突出显示的部分属于这个 csv 文件的部分,因此应该在一个数组中。最后还有一些不应存在的空数组。

在此之前我有(未显示)一段代码,它执行相同的操作,但使用不同的 csv 文件,并且按预期工作,将每个文件的数据分成一个新数组,没有空数组。感谢您的帮助!

【问题讨论】:

  • 至少第一个问题可以通过在 for 循环中将 len(temp) 更改为 len(temp[0]) 来解决:-P
  • 谢谢@AbhishekJebaraj,这确实有点帮助!我通常很难处理多维数组。
  • 我发现了问题,但稍后我会花时间提供答案。
  • 是的,请这样做..谢谢..

标签: python arrays list csv multidimensional-array


【解决方案1】:

问题是我使用了trypass。所有符合我的标准的文件都得到了满足,但其中一些文件的内容读取方式存在问题,这导致了我稍后在代码中收到的错误。对于希望使用trypass 的任何人,请确保您能够安全地传递代码块可能遇到的任何异常。否则,以后可能会出现问题。如果您不传递它,您可能仍然会收到错误,但这将迫使您适当地修复它而不是忽略它。

【讨论】:

    猜你喜欢
    • 2021-02-06
    • 2014-04-10
    • 1970-01-01
    • 2018-04-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多