删除列 csv 文件，其中一些包含带引号的文本，包括逗号

Question

我有一个包含数百列和 80 行的 csv 文件。我需要从文件中删除前 13 列。 我试过使用：

cut -d, -f1-13 --complement input.csv > output.csv

但问题是第一列中的一个包含带引号的文本，包括逗号，并且 cut 无法处理这种格式。 示例输入：

标头A、标头B、标头C、标头D、标头E、标头F、标头G、标头H A、“B、B”、C、“D、D、D、D”、E、F、G、H A、“B、B”、C、“D、D、D、D”、E、F、G、H A、“B、B”、C、“D、D、D、D”、E、F、G、H

期望的输出：

标头E、标头F、标头G、标头H E、F、G、H E、F、G、H E、F、G、H

在示例中，我在类似条件下使用较少数量的列。理想情况下，该解决方案应该可以扩展到任意数量的列和行（在我的例子中是 13 列和 80 行）。 我曾尝试使用 awk 寻找解决方案，但它们通常包括打印除要删除的列之外的所有列，由于列的数量庞大，这不是一个实用的解决方案。

Answer 1

考虑到您设定的特定条件，这样的事情会起作用：

grep -oE '(("[^"]+"|[^,]+),?){5}$' input.csv > output.csv

{5} 中的5 被替换为您希望剩余的列数。因此，给定 N 列，其中前 13 列将被省略，该值将是 N - 13。

注意： 如果任何引用的列数据本身包含引号，则正则表达式将无法正确匹配，例如"some \"data\" in quotes"，虽然可以调整模式以适应这种情况（但它变得相当复杂）。

Answer 2

您可以在 python 中使用 pandas 来做到这一点。

为此，您可以编写一个简单的函数来执行以下操作：

• 将 csv 加载到 pandas 数据帧
• 删除不需要的列
• 将所有内容保存回新的 csv 文件或恢复原样。

代码：

import pandas as pd

def remove_columns_from_csv(data_path):
    #loading the file
    data_file = pd.read_csv(data_path)
    data = pd.dateFrame(data_file)

    # Use this list if you want to remove by columns names 
    columns_list = ['first_columns', 'second_column']

    # Use this list if you want to remove by index
    columns_list = [0,1,3] # subselection of columns you want removed
    data = data.drop(columns=columns_list)

    # saving the data back to a csv
    file_name = 'type the file name here'
    data.to_csv(file_name, sep='\t', encoding='utf-8')


# Function call    
datapath = 'C:\\Users\\default_user\\Documents\\csv_filename.csv'
remove_columns_from_csv(datapath)

注意：这里的索引是从零开始的，所以如果你的列号在 csv 中是 1，那么它在 python 中对应的是 0。