如何在 pandas.read_csv() 中读取一行然后跳三行，直到文本文件的末尾？

Question

我有一个文本文件，其中包含 800 万行 (like so)。但我只需要使用 pandas.read_csv() 函数读取文件的一些行（在图像中标记为红色）。

我试图做的逻辑是：“读一行，然后跳三行”直到文件末尾，所以我不会使用对我无用的行。

我知道pd.read_csv()函数中有参数skiprows=，但是我不知道如何pythonly把逻辑放在函数的参数中。最后，我将需要一个包含所有文本文件中仅以下列的数据框：

header = ["Elm Ion","WL_air(A)","log gf*","E_low(eV)", "Waals"]

提前致谢！

Answer 1

我同意@sammywemmy 关于 csv 模块进行更精细控制的评论，这将使事情更容易修改和自定义。也就是说，可赎回选项确实引起了我的兴趣，所以这就是你如何做到的。 （请注意，我们必须添加边缘情况来获取列标题和第一行。）

>>> def skip_func(x):
...     if x in (0, 1):
...         return False
...     else:
...         return (x-1) % 4 != 0

>>> pd.read_csv(filepath, skiprows=skip_func)

Answer 2

我不了解 Pandas，Python 的 CSV 模块足以胜任这项工作。

另外，你问过如何跳过一定数量的行，我的解决方案就是这样。 但是查看您的数据，我看到一行“数据”，然后是其他一些元数据行（摘要？），这代表了另一种思考您的数据的方式问题。

这是固定跳过的解决方案，之后我将介绍“相对跳过”的解决方案。

固定跳过，或跳过 n 行/行

鉴于此文件，input.csv：

id,foo
1,a
2,b
3,c
4,d
5,e
6,f
7,g
8,h
9,i
10,j

当我运行这个时：

#!/usr/bin/env python3
import csv

csv_out = open('output.csv', 'w', newline='')
writer = csv.writer(csv_out)

csv_in = open('input.csv', newline='')
reader = csv.reader(csv_in)

writer.writerow(next(reader))  # if your input CSV has a header

# Loop over rows
for row in reader:
    writer.writerow(row)

    try:
        # next(reader) advances the CSV one row at a time; discard results
        next(reader)
        next(reader)
        next(reader)
    except StopIteration:
        # The expected exception when reader runs out of rows
        break
    except Exception as e:
        # Unexpected, raise it to user's attention
        raise e


csv_in.close()
csv_out.close()

我得到了 output.csv：

id,foo
1,a
5,e
9,i

如果你想让跳过可编程：

...
SKIP_ROWS = 3
...
for row in reader:
    try:
        for i in range(SKIP_ROWS):
             next(reader)
    except StopIteration:
    ....

相对跳过，或跳过具有某些属性的行

如果元数据行数发生变化，跳过固定数量的行将会中断。您最好按属性跳过行。

据我所知，数据行和元数据行之间的最大区别在于，数据行有许多字段（列），而元数据行是单个字段。

...
for row in reader:
    if len(row) == 1:  # single column, or some other "attribute" of a row you want to skip
        continue       # skip it

    # process your real data
    ...