将 CSV 文件的注释行保留在 pandas 中？

Question

我刚刚开始研究 Pandas 的世界，我发现的第一个奇怪的 CSV 文件是一个开头有两行 cmets（具有不同的列宽）的文件。

sometext, sometext2
moretext, moretext1, moretext2
*header*
actual data ---
---------------

我知道如何使用skiprows 或header= 跳过这些行，但是，我将如何在使用read_csv 时保留这些cmets？有时 cmets 作为文件元信息是必需的，我不想把它们扔掉。

Answer 1

Pandas 旨在读取结构化数据。

对于非结构化数据，只需使用内置的open：

with open('file.csv') as f:
    reader = csv.reader(f)
    row1 = next(reader)  # gets the first line
    row2 = next(reader)  # gets the second line

您可以像这样将字符串附加到数据框：

df.comments = 'My Comments'

But note:

但是请注意，虽然您可以将属性附加到 DataFrame， 在 DataFrame 上执行的操作（例如 groupby、pivot、join 或 loc 仅举几例）可能会返回一个没有 附加元数据。 Pandas 还没有可靠的方法 传播附加到 DataFrames 的元数据。

Answer 2

您可以先读取元数据，然后使用read_csv：

with open('f.csv') as file:
    #read first 2 rows to metadata
    header = [file.readline() for x in range(2)]
    meta = [value.strip().split(',') for value in header]
    print (meta)
    [['sometext', ' sometext2'], ['moretext', ' moretext1', ' moretext2']]

    df = pd.read_csv(file)
    print (df)

          *header*
    0  actual data