从 csv 文件读取列名并保存为列表时出错

Question

我有一个包含 15,000 多个 csv 文件的文件夹。它们都有不同数量的列名。

大多数文件的第一行作为列名（数据属性），如下所示：

Name Date Contact Email 
a     b     c       d
a2    b2    c2      d2

我想要做的是读取所有文件的第一行，将它们存储为列表，然后将该列表写入新的 csv 文件。

这是我到目前为止所做的：

import csv
import glob 
list=[]
files=glob.glob('C:/example/*.csv')
for file in files :
    f = open(file)
    a=[file,f.readline()]
    list.append(a)

with open('test.csv', 'w') as testfile:
     csv_writer = csv.writer(testfile)
     for i in list:
         csv_writer.writerow(i)

当我尝试这段代码时，结果如下：

[('C:/example\\example.csv', 'Name,Date,Contact,Email\n'), ('C:/example\\example2.csv', 'Address,Date,Name\n')]

因此，在制作的 csv 中，每个文件的所有属性都进入第二列，使其看起来像这样（由于某种原因，中间有一个空行）： New CSV file made

此外，在浏览文件时，我遇到了另一个错误：

UnicodeDecodeError: 'cp949' codec can't decode byte 0xed in position 6: illegal multibyte sequence

所以我在第一行包含了这段代码，但它没有说文件无效。

import codecs
files=glob.glob('C:/example/*.csv') 
fileObj = codecs.open( files, "r", "utf-8" )

我在 stackflow 上阅读了答案，但找不到与我的问题相关的答案。感谢您的回答。

Answer 1

好的，所以

import csv
import glob 
list=[]
files=glob.glob('C:/example/*.csv')
for file in files :
    f = open(file)
    a=[file,f.readline()]
    list.append(a)

您在这里打开文件，然后创建一个列表，其中列标题为字符串（注意这意味着它们看起来像“Column1,Column2”）和文件名。所以 [("文件名", "Column1, Column2")] 所以你需要在'，'上拆分它：

for file in files :
    f = open(file)
    a=[file] + f.readline().split(',')

现在我们有了：

["filename", ("Column1", "Column2")]

所以它仍然会打印到错误的文件中。我们需要连接列表。

    a=[file] + f.readline().split(',')

所以我们得到：

 ["filename", "Column1", "Column2"]

您应该在使用f.close() 打开每个文件后关闭它，或者在循环中使用上下文管理器，例如：

for file in files :
    with open(file) as f:
        a=[file] + f.readline()
        list.append(a)

更好的解决方案以及我将如何编写它：

import csv
import glob

files = glob.glob('mydir/*.csv')
lst = list()

for file in files:
    with open(file) as f:
        reader = csv.reader(f)
        lst.append(next(reader))


try:
    with open(files,'r'.encoding='utf8') as f:
        # do things
except UnicodeError:
    with open(files,'r'.encoding='utf8') as f:
        # do things

Answer 2

一点点整理、适当的上下文管理和使用csv.reader：

import csv
import glob 
list=[]
files=glob.glob('C:/example/*.csv')
with open('test.csv', 'w') as testfile:
    csv_writer = csv.writer(testfile)
    for file in files:
        with open(file, 'r') as infile:
            reader = csv.reader(infile)
            headers = next(reader)
            lst = [file] + headers
            writer.writerow(lst)

这将写入一个新的 csv，每个 infile 有一行，每一行是 filename, column1, column2, ...