python 2.7中的正则表达式用于识别数据框中列中的任何非数字符号

Question

我正在用 python 清理数据。数据框中的某些列应该是数字的。但是这些列中有一些行包含可能是 ?、/ 或任何其他非数字符号的字符串。如果所选列的值不是数字，我想创建一个等于 1 的布尔列，否则为 0。我是 python 新手，我不确定非值的正则表达式是什么。 我需要提到的一件事是，由于 c 列包含非数值，它被读取为对象，而不是字符串或数字。 样本输入

      a     b   c   d
  1  10    20  30   40
  2  10/20 30   ?    50

此输入被读取为 dataframe ，称为 df。 理想输出

      a     b   c   d    e
  1  10    20  30   40   0
  2  10/20 30   ?    50  1

Answer 1

这是一个朋友给我的建议。我们可以讨论哪个更好。

    df2[df2.Year.str.contains("[^-0-9\/]+")]

Answer 2

不是熊猫专家，但您可以做以下事情：

import pandas as pd


df = pd.read_csv("in.csv", delimiter="\s+")

df['e'] = df.applymap(lambda x: str(x).isdigit()).T.all().astype(int)

输入：

a  b  c  d
10 20 30 40
10/20 30 ? 50
3 4 5 6

输出：

       a   b   c   d  e
0     10  20  30  40  1
1  10/20  30   ?  50  0
2      3   4   5   6  1

如果您在行中没有混合类型，您可以这样做：

df['e'] = df.applymap(np.isreal).T.all().astype(int)

分解：

 print(df.applymap(lambda x: str(x).isdigit()))

根据是否为数字为每个行元素输出 True 或 False：

       a     b      c     d     e
0   True  True   True  True  True
1  False  True  False  True  True
2   True  True   True  True  True

然后我们用.T转置：

print(df.applymap(lambda x: str(x).isdigit()).T)

获取：

      0      1     2
a  True  False  True
b  True   True  True
c  True  False  True
d  True   True  True
e  True   True  True

如果每一行的所有元素都为真，.all 返回真：

0     True
1    False
2     True
dtype: bool

最后 .astype(int) 输出：

0    1
1    0
2    1
dtype: int64

我们用它来创建新的 col e。

这只有在你有正数时才有效。

Answer 3

如果你想使用正则表达式来检查非数字..你可以使用以下：

^[^0-9]+$

相当于下面的简写符号：

^\D+$

代码：

import re
matchObj = re.match( r'^\D+$', myStr)   //put your column
                                        // value in myStr
if matchObj:
   print "Match found!", matchObj.group()
else:
   print "No match!!"

Answer 4

我假设该列是str，而不是int。您可以使用正则表达式，但如果您只对字符串使用 isdigit() 方法，它会更快且更容易理解。

例如：

>>> '1233456'.isdigit()
True
>>> '1234aaaa'.isdigit()
False
>>> '1234@'.isdigit()
False
>>> '123,456,789'.isdigit()
False

此方法返回一个布尔值 (True/False)，然后您可以将其插入所需的列中。