使用正则表达式选择数据

Question

我有一个这样的数据框

import pandas as pd

df = pd.DataFrame({'a': ['abc', 'r00001', 'r00010', 'rfoo', 'r01234', 'r1234'], 'b': range(6)})

        a  b
0     abc  0
1  r00001  1
2  r00010  2
3    rfoo  3
4  r01234  4
5   r1234  5

我现在要选择此数据框的所有列，其中 a 列中的条目以 r 开头，后跟五个数字。

From here 我知道如果它只以r 开头而不带数字：

print df.loc[df['a'].str.startswith('r'), :]

        a  b
1  r00001  1
2  r00010  2
3    rfoo  3
4  r01234  4
5   r1234  5

类似的东西

print df.loc[df['a'].str.startswith(r'[r]\d{5}'), :]

当然不行。如何正确地做到这一点？

Answer 1

选项 1
pd.Series.str.match

df.a.str.match('^r\d{5}$')

1     True
2     True
3    False
4     True
5    False
Name: a, dtype: bool

将其用作过滤器

df[df.a.str.match('^r\d{5}$')]

        a  b
1  r00001  1
2  r00010  2
4  r01234  4

---

选项 2
使用字符串方法自定义列表理解

f = lambda s: s.startswith('r') and (len(s) == 6) and s[1:].isdigit()
[f(s) for s in df.a.values.tolist()]

[False, True, True, False, True, False]

将其用作过滤器

df[[f(s) for s in df.a.values.tolist()]]

        a  b
1  r00001  1
2  r00010  2
4  r01234  4

---

时机

df = pd.concat([df] * 10000, ignore_index=True)

%timeit df[[s.startswith('r') and (len(s) == 6) and s[1:].isdigit() for s in df.a.values.tolist()]]
%timeit df[df.a.str.match('^r\d{5}$')]
%timeit df[df.a.str.contains('^r\d{5}$')]

10 loops, best of 3: 22.8 ms per loop
10 loops, best of 3: 33.8 ms per loop
10 loops, best of 3: 34.8 ms per loop

Answer 2

您可以使用str.contains 并传递正则表达式模式：

In[112]:
df.loc[df['a'].str.contains(r'^r\d{5}')]

Out[112]: 
        a  b
1  r00001  1
2  r00010  2
4  r01234  4

这里的模式计算结​​果为 ^r - 以字符 r 开头，然后 \d{5} 查找 5 位数字

startswith 查找字符模式，而不是正则表达式模式，这就是它失败的原因

关于str.contains 和str.match 之间的区别，它们是类似的，但str.contains 使用re.search 而str.match 使用更严格的re.match，请参阅docs。

编辑

要回答您的评论，请添加$，使其匹配特定数量的字符，请参阅related：

In[117]:
df = pd.DataFrame({'a': ['abc', 'r000010', 'r00010', 'rfoo', 'r01234', 'r1234'], 'b': range(6)})
df

Out[117]: 
         a  b
0      abc  0
1  r000010  1
2   r00010  2
3     rfoo  3
4   r01234  4
5    r1234  5


In[118]:
df.loc[df['a'].str.match(r'r\d{5}$')]

Out[118]: 
        a  b
2  r00010  2
4  r01234  4