读取 df，拆分每个单元格并附加到列表

Question

我正在处理一个包含多列的 csv 文件。 该文件看起来像这样......

A,B,C
1,'x;y;z','e;f;g'
2,'w;x;y','r;s;t'
3,'','p;q;r'

文件中的每个单元格都有一个用“;”分隔的字符串。

我想通过读取每个单元格并根据分隔符拆分每个单元格来创建一个列表。

我已经能够做到这一点，但存在性能问题。

csv 文件很大，所以我正在寻找一个优化的版本。

列名是预先知道的。我的代码如下所示

我目前的解决方案是 制作一个列表，读取每列中的所有行 展平列表 如果项目是字符串，则拆分列表中的项目，附加到新列表 从列表中删除重复项

import pandas as pd

from io import StringIO
from collections import Iterable
import operator


csv_path ='my_dir'
# load the data with pd.read_csv
dataDF = pd.read_csv(csv_path)
dataDF.fillna(" ")
result=[]
cols=['A','B','C']

for i in cols:
    result.append(dataDF[i].tolist())

result=reduce(operator.concat, result)
print(result)
my_list=[]
for token in result:
    if isinstance(token, str):
        my_list.append(token.split(";"))

my_list=reduce(operator.concat, my_list)
my_list=list(set(my_list))

Answer 1

如果你有很多重复的值，这可能会更快。

from itertools import chain

# load the data with pd.read_csv
dataDF = pd.DataFrame({'A': [1, 2, 3], 'B': ['x;y;z', 'w;x;y', ''], 'C': ['e;f;g', 'r;s;t', 'p;q;r']})
dataDF.fillna(" ", inplace=True)
results_set = set()
for i in dataDF.columns:
    try:
        results_set.update(chain(*dataDF[i].str.split(';').values))
    except AttributeError:
        pass
print(results_set)

Answer 2

试试这个：

from itertools import chain

# load the data with pd.read_csv
dataDF = pd.DataFrame({'A': [1, 2, 3], 'B': ['x;y;z', 'w;x;y', ''], 'C': ['e;f;g', 'r;s;t', 'p;q;r']})
dataDF.fillna(" ", inplace=True)
list_of_lists = []
for i in dataDF.columns:
    try:
        list_of_lists.extend(dataDF[i].str.split(';').values)
    except AttributeError:
        pass
print(set(chain(*list_of_lists)))