将列表列表（长度不等）的列转换为单独的变量列（python，pandas）

Answer 1

加载您的df，创建df1，如下所示：

df1 = pd.DataFrame.from_records(df.explode('feat').values.flatten()).replace('', np.nan)
df1.index = df.explode('feat').index

从原始数据中对df1 设置索引以保留行标记（传递index=df.explode('feat').index 不起作用）。 （或者，要将列表分成列，可以使用df.explode('feat')['feat'].apply(pd.Series)。但是，我更喜欢避免apply，因此请改用DataFrame构造函数。）

在df1 上重置索引，然后设置多索引（不能直接设置第 0 列索引，因为它会覆盖原始索引）：

df1.reset_index().set_index(['index', 0])
# df1.set_index(0, append=True)  # alternatively should work

然后解压。您可以通过附加 .dropna(how='all', axis=1) 来删除全部为 NaN 的列，从而产生：

>>> df1.reset_index().set_index(['index', 0]).unstack().dropna(how='all', axis=1)
         2               
0     str1 str2 str3 str4
index                    
0      3.0  NaN  5.0  3.0
1      4.0  5.0  NaN  NaN

该解决方案还很大程度上避免了硬编码要查看或移动的特定列。

Answer 2

这是一种方法

# explode the list to rows

df=df.explode('feat')

# remove the [] from the list, and split on ","
df[['col1','col3','col2']]=df['feat'].astype('str').replace('[\[\]]','', regex=True).str.split(',', expand=True)

# use pivot after reindexing
df=df.reset_index()
df.pivot(index='index', columns='col1', values='col2')
df

col1    'str1'  'str2'  'str3'  'str4'
index               
0         3       NaN      5      3
1         4         5    NaN    NaN

Answer 3

将您的嵌套列表转换为 pd.Series 可以解释的字典：

df = df.feat.apply(lambda val: pd.Series({y[0]:y[2] for y in val}))
df = df[df.columns.sort_values()]
print(df)

输出：

   str1  str2  str3  str4
0   3.0   NaN   5.0   3.0
1   4.0   5.0   NaN   NaN

Answer 4

我的解决方案是使用df1.loc[i, col_name] 逐个单元格地构建新的df1 的蛮力方法。

import pandas as pd

df= pd.DataFrame({'feat': [[["str1","", 3], ["str3","", 5], ["str4","", 3]],[["str1","", 4], ["str2","", 5]] ]})
df1 = pd.DataFrame()
for i in range(df.shape[0]):
    for e in df.loc[i, 'feat']:
        df1.loc[i, e[0]] = e[2]
print(df1)

输出（不按列顺序）：

   str1  str3  str4  str2
0   3.0   5.0   3.0   NaN
1   4.0   NaN   NaN   5.0

所花费的时间是

import timeit
timeit.timeit('''
import pandas as pd
df= pd.DataFrame({'feat': [[["str1","", 3], ["str3","", 5], ["str4","", 3]],[["str1","", 4], ["str2","", 5]] ]})
df1 = pd.DataFrame()
for i in range(df.shape[0]):
    for e in df.loc[i, 'feat']:
        df1.loc[i, e[0]] = e[2]
''', number=10000)

19.209370899999996

所以 10K 运行大约需要 20 秒。我很想知道其他算法的表现如何。也请自行运行它，因为所花费的时间因不同的电脑.并且也随着不同的数据集.他们来了：

#来自@ifly6 的回答

import timeit
timeit.timeit('''
import pandas as pd
import numpy as np
df= pd.DataFrame({'feat': [[["str1","", 3], ["str3","", 5], ["str4","", 3]],[["str1","", 4], ["str2","", 5]] ]})
df1 = pd.DataFrame.from_records(df.explode('feat').values.flatten()).replace('', np.nan)
df1.index = df.explode('feat').index
df1 = df1.reset_index().set_index(['index', 0]).unstack().dropna(how='all', axis=1)
''', number=10000)

48.217678400000295

#来自@Naveed 的回答

import timeit
timeit.timeit('''
import pandas as pd
df= pd.DataFrame({'feat': [[["str1","", 3], ["str3","", 5], ["str4","", 3]],[["str1","", 4], ["str2","", 5]] ]})
df = df.explode('feat')
df[['col1','col3','col2']] = df['feat'].astype('str').replace('[\[\]]','', regex=True).str.split(',', expand=True)
df = df.reset_index()
df = df.pivot(index='index', columns='col1', values='col2')
''', number=10000)

34.94540550000056

#来自@BeRT2me 的回答（不用df = df[df.columns.sort_values()] 重新排列列会更快）

import timeit
timeit.timeit('''
import pandas as pd
df= pd.DataFrame({'feat': [[["str1","", 3], ["str3","", 5], ["str4","", 3]],[["str1","", 4], ["str2","", 5]] ]})
df = df.feat.apply(lambda val: pd.Series({y[0]:y[2] for y in val}))
df = df[df.columns.sort_values()]
''', number=10000)

12.745890199999849