如果有条件，则删除 CSV 的第一行

Question

我正在构建一个应用程序，其中一部分是下载 GCP 存储中存在的 csv 文件。

我使用这个函数来获取csv，注意，它是作为字符串下载的。

def get_my_csv(run, library):
    storage_client = storage.Client()
    bucket = storage_client.get_bucket(BUCKET_NAME)
    blobs = bucket.list_blobs(prefix="{}/{}".format(run, library))
    for blob in blobs:
        return blob.download_as_string().decode("utf-8")

获得 CSV 后，我将其解析为 pandas 数据框，如下所示：

csv_to_use = get_my_csv(run, library)
reader = csv.DictReader(csv_to_use.splitlines())
rows = [r for r in reader]
df = pd.DataFrame(rows)

现在我遇到的问题是负责上传此 CSV 文件的人员有时会搞砸，我得到的 CSV 文件如下所示：

Analysis pipeline:,Class II - DPB Full Length,,,,
Local ID,Sample ID,For Code ,For Code Seq,Rev Code Name,Rev Code Seq
4,2949,004F,GGTAGTGTGTATCAGTACATG,004R,GGTAGTGTGTATCAGTACATG
5,1596,005F,GGTAGACACGCATGACACACT,005R,GGTAGACACGCATGACACACT
13,3319,013F,GGTAGACACTGACGTCGCGAC,013R,GGTAGACACTGACGTCGCGAC

您可能会注意到，在实际的头文件之前有一行。我该如何处理？此外，我永远不确定他们实际上可能会在标题中放入什么。有没有办法让我的代码足够聪明来处理这个问题？

如果不够聪明，我可以使用什么逻辑来删除此行：Analysis pipeline:,Class II - DPB Full Length,,,, 并将Local ID,Sample ID,For Code ,For Code Seq,Rev Code Name,Rev Code Seq 作为我的标题？

更新

基本上，For Code ,For Code Seq,Rev Code Name,Rev Code Seq 应该始终出现在标题中。我怎样才能跳过直到找到这个，把它作为标题并解析其余部分？

Answer 1

这是检查您所说的内容应始终位于列标题中的基本方法。

csv_to_use = get_my_csv(run, library)
i = 0
for i, row in enumerate(csv_to_use.splitlines()):
    row_split = row.split(',')
    broken = False
    for j,label in enumerate(row_split):
        if 'For Code' in label and 'For Code Seq' in row_split[j+1] and 'Rev Code Name' in row_split[j+2] and 'Rev Code Seq' in row_split[j+3]:
            broken = True
            break
    if broken:
        break
reader = csv.DictReader(csv_to_use.splitlines()[i:])
rows = [r for r in reader]

Answer 2

我会假设第一个数据行的第一个字段是数字，而实际的标题只是前一个。

我愿意：

import io
import re
...

numeric = re.compile(r'\d+$')                 # a regex to match a numeric field
csv_to_use = get_my_csv(run, library)
reader = csv.reader(io.StringIO(csv_to_use))
rows = list(reader)

# search first data row:
for i, row in enumerate(rows):
    if numeric.match(row[0]):
        break
if i == 0: i=1                    # ensure at least a header row...

# build the dataframe
df = df.DataFrame(rows[i:], columns=rows[i-1])

---

如果要过滤标题中的任何空白，只需将最后一行替换为：

df = df.DataFrame(rows[i:], columns=[r.replace(' ', '') for r in rows[i-1]])