在另一列上使用拆分有条件地填充新列

Question

我有一个数据框

df = pd.DataFrame({'col1': [1,2,1,2], 'col2': ['aa bb cc', 'ee-ff-gg', 'hh ii kk', 'll-mm-nn']})

我想：

• 在 col1==1 的“”上拆分 col2
• 在 col1==2 的“-”上拆分
• 将此数据附加到 3 个新列：(col20, col21, col22)

理想情况下，代码应如下所示：

subdf=df.loc[df['col1']==1]
#list of columns to use
col_list=['col20', 'col21', 'col22']
#append to dataframe new columns from split function
subdf[col_list]=(subdf.col2.str.split(' ', 2, expand=True)

然而这并没有奏效。

我尝试过使用 merge 和 join，但是：

• 如果列已填充，则连接不起作用
• 如果不这样做，合并将不起作用。

我也试过了：

#subset dataframes
subdf=df.loc[df['col1']==1]
subdf2=df.loc[df['col1']==2]

#trying the join method, only works if columns aren't already present
subdf.join(subdf.col2.str.split(' ', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'}))
#merge doesn't work if columns aren't present
subdf2=subdf2.merge(subdf2.col2.str.split('-', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'}))
subdf2

运行时的错误信息：

subdf2=subdf2.merge(subdf2.col2.str.split('-', 2, expand=True).rename(columns={0:'col20', 1:'col21', 2: 'col22'})

MergeError: No common columns to perform merge on. Merge options: left_on=None, right_on=None, left_index=False, right_index=False

在标记对正则表达式的评论后编辑给出信息

我原来的 col1 实际上是我用来从一些字符串中提取 col2 的正则表达式组合。

#the combination I used to extract the col2
combinations= ['(\d+)[-](\d+)[-](\d+)[-](\d+)', '(\d+)[-](\d+)[-](\d+)'... ]

这是原始数据框

col1                          col2 
(\d+)[-](\d+)[-](\d+)[-](\d+) 350-300-50-10 
(\d+)[-](\d+)[-](\w+)(\d+)    150-180-G31   

然后我创建了一个字典，将每个组合与 col2 的拆分值表示的内容联系起来：

filtermap={'(\d+)[-](\d+)[-](\w+)(\d+)': 'thickness temperature sample', '(\d+)[-](\d+)[-](\d+)[-](\d+)': 'thickness temperature width height' }

我想用这个过滤器：

• 根据正则表达式组合对数据帧进行子集
• 在 col2 上使用 split 以使用 filtermap（厚度温度..）查找与组合对应的值
• 将这些值添加到数据框的新列中

col1                          col2           thickness temperature width length sample
(\d+)[-](\d+)[-](\d+)[-](\d+) 350-300-50-10  350       300         50    10
(\d+)[-](\d+)[-](\w+)(\d+)    150-180-G31    150       180                        G31   

既然您提到了正则表达式，也许您知道一种直接执行此操作的方法？

编辑 2;输入输出

在输入中有这样的字符串：

'this is the first example string 350-300-50-10 ', 
'this is the second example string 150-180-G31'

以下格式：

• number-number-number-number(350-300-50-10) 里面有这个有序的信息：thickness(350)-temperature(300)-width(50)-length(10)

• number-number-letternumber (150-180-G31 ) 中有这个有序的信息：thickness-temperature-sample

想要的输出：

col2,          thickness, temperature, width, length, sample 

350-300-50-10  350        300          50     10       None
150-180-G31    150        180          None   None     G31

我用过例如：

re.search('(\d+)[-](\d+)[-](\d+)[-](\d+)')) 

在字符串中查找 col2

Answer 1

您可以使用np.where 来简化此问题。

import pandas as pd
import numpy as np
df = pd.DataFrame({'col1': [1,2,1,2],
                   'col2': ['aa bb cc', 'ee-ff-gg', 'hh ii kk', 'll-mm-nn']
                   })


temp = np.where(df['col1'] == 1, #a boolean array/series indicating where the values are equal to 1.
                df['col2'].str.split(' '), #Use the output of this if True
                df['col2'].str.split('-') #Else use this.
                )

temp_df = pd.DataFrame(temp.tolist()) #create a new dataframe with the columns we need
#Output:
    0   1   2
0  aa  bb  cc
1  ee  ff  gg
2  hh  ii  kk
3  ll  mm  nn

现在只需将结果分配回原始 df。您可以使用 concat 或 join，但也可以使用简单的分配。

df[[f'col2_{i}' for i in temp_df.columns]] = temp_df

print(df)
   col1      col2 col2_0 col2_1 col2_2
0     1  aa bb cc     aa     bb     cc
1     2  ee-ff-gg     ee     ff     gg
2     1  hh ii kk     hh     ii     kk
3     2  ll-mm-nn     ll     mm     nn

---

编辑：解决两个以上的条件拆分

如果您需要两个以上的条件，np.where 仅适用于二元选择。您可以选择一种“自定义”方法，该方法可在此处使用任意数量的拆分。

splits = [ ' ', '-', '---']
all_splits = pd.DataFrame({s:df['col2'].str.split(s).values for s in splits})
#Output:
                            -         ---
0  [aa, bb, cc]    [aa bb cc]  [aa bb cc]
1    [ee-ff-gg]  [ee, ff, gg]  [ee-ff-gg]
2  [hh, ii, kk]    [hh ii kk]  [hh ii kk]
3    [ll-mm-nn]  [ll, mm, nn]  [ll-mm-nn]

首先，我们在所有拆分上拆分 df['col2']，而不进行扩展。现在，只是根据df['col1']的值选择正确的list的问题

我们可以为此使用 numpy 的高级索引。

temp = all_splits.values[np.arange(len(df)), df['col1']-1]

这点之后，步骤应该和上面一样，从创建temp_df开始

Answer 2

你很接近。要根据某些条件生成列，where 通常很方便，请参见下面的代码，

col2_exp1 = df.col2.str.split(' ',expand=True)
col2_exp2 = df.col2.str.split('-',expand=True)

col2_combine = (col2_exp1.where(df.col1.eq(1),col2_exp2)
                         .rename(columns=lambda x:f'col2{x}'))

最后，

df.join(col2_combine)