使用正则表达式和 Pandas 重命名列以提取特定标点符号之间的内容

Question

给定一个测试数据集如下：

  city district  ... Q3:*your age[open question]  Q4:*skill[open question]
0   bj       cy  ...                          45                              R
1   bj       cy  ...                          34                         Python

我需要使用正则表达式重命名列，以提取* 和[ 之间的内容，如果存在your，还要删除它们。请注意，在实际情况下，我有很多问题列如下。

df.columns
Out[112]: 
Index(['city', 'district', 'name', 'Q1:*your tel[open question]',
       'Q2:*your profession[close question]', 'Q3:*your age[open question]',
       'Q4:*skill[open question]'],
      dtype='object')

预期的列将如下所示：

['city', 'district', 'name', 'tel', 'profession', 'age', 'skill']

如何在 Pandas 和正则表达式中做到这一点？非常感谢。

Answer 1

df13 = df.filter(regex = '^[^Q]', axis = 1) #Isolate columns without Q
df12 = df.filter(regex = '^Q', axis = 1) #isolate columns with Q
x = df.filter(regex = '^Q', axis = 1).reindex(df.filter(regex = '^Q', axis = 1).\
columns.str.findall('([a-z]+(?=\[))').str.join(','),\
axis = "columns").columns # transform column names with q
df12.columns=list(x) # reset df12 column names
pd.concat([df13, df12], axis = 1)

示例数据

df=pd.DataFrame({'city':[1], 'district':[1], 'name':[1], 'Q1:*your tel[open question]':[1],
       'Q2:*your profession[close question]':[1], 'Q3:*your age[open question]':[1],
       'Q4:*skill[open question]':[1]})

打印（df）

 city  district  name  Q1:*your tel[open question]  \
0     1         1     1                            1   

   Q2:*your profession[close question]  Q3:*your age[open question]  \
0                                    1                            1   

   Q4:*skill[open question]  
0                         1  

结果

    city  district  name  tel  profession  age  skill
0     1         1     1    1           1    1      1

Answer 2

每当遇到这样的问题时，您可能想给自己一些时间来思考哪种模式与您想要的匹配。为此，我推荐this site，您可以在其中粘贴目标文本并尝试一些模式。这需要一些时间，但这就是我们实际学习的方式（正则表达式对大脑来说总是一种很好的锻炼）。

对于您的情况，您想要的模式是r'\*(your)?(.*)\['，其中第二个匹配组是要成为列新名称的单词。所以你可以试试这样的：

import re

pattern = r'\*(your)?(.*)\['

print('# Before\n', df.columns)
df = df.rename({
     col: re.search(pattern, col).group(2).strip() 
     if re.search(pattern, col) 
     else col 
     for col in df.columns
     }, axis=1)
print('# After\n', df.columns)

输出将是：

# Before
 Index(['city', 'district', 'name', 'Q1:*your tel[open question]',
       'Q2:*your profession[close question]', 'Q3:*your age[open question]',
       'Q4:*skill[open question]'],
      dtype='object')
# After
 Index(['city', 'district', 'name', 'tel', 'profession', 'age', 'skill'], dtype='object')

Answer 3

试试：

cols = []
for i in df.columns:
    if re.search(r'Q\d:',i) != None:
        cols.append(re.match(r'^Q\d:\*(your\s)?([\w]*)',i).group(2))
    else:
        cols.append(i)

上面的 Oneliner 替代品：

[(re.match(r'^Q\d:\*(your\s)?([\w]*)',i).group(2)) if re.search(r'Q\d:',i) is not None else i for i in df.columns]

两个打印件：

['city', 'district', 'name', 'tel', 'profession', 'age', 'skill']