Pandas Python 正则表达式辅助

Question

我不知道如何称呼这个标题，如果您认为有更好的名称，请随时编辑它。

我要做的是找到符合某些搜索条件的案例。

具体来说，我试图找到其中包含单词“where”的句子。一旦我确定了这一点，我就会尝试查找单词“SQL”命令也位于同一标记内的情况。

假设我有一个如下所示的数据框：

search_criteria = ['where']

df4

         Q      R
0    file.sql  <sentence>dave likes stuff</sentence><properties>version = "2", description = "example" type="SqlCommand">select id, name, from table where criteria = '5'</property><sentence>dave hates stuff>

0    file.sql  <sentence>dave likes stuff</sentence><properties>version = "2", description = "example">select id, name, from table where criteria = '5'</properties><sentence>dave hates stuff>

我正在尝试返回这个：

         Q      R
0    file.sql   <properties>version = "2", description = "example">select id, name, from table</properties>

应该返回这条记录，因为它同时包含“where”和“sqlcommand”。

这是我目前的流程：

regex_stuff =  df_all_xml_mfiles_tgther[cc:cc+1].R.str.findall('(<[^<]*?' + 'where' + '[^>]*?>)', re.IGNORECASE)


sql_command_regex_stuff = df_all_xml_mfiles_tgther[cc:cc+1].R.str.findall('(<property[^<]*?' + 'sqlcommand' + '[^>]*?<\/property>)', re.IGNORECASE)


if not regex_stuff.empty: #if one of the search criteria is found

    if not sql_command_regex_stuff.empty: #check to see if the phrase "sqlcommand" is found anywhere as well

          (insert rest of code)

这不会返回任何东西。

我做错了什么？

编辑#1：

看来我需要在最后做点什么，让正则表达式看起来像这样：

   <property[^<]*?SqlCommand[^(<\/property>)]*

我觉得这是正确的方向，行不通，但我觉得这是正确的一步。

Answer 1

你可以用str.contains过滤：

df[(df['R'].str.contains('where', flags=re.IGNORECASE) & df['R'].str.contains('sqlcommand', flags=re.IGNORECASE))]

    Q             R
0   file.sql    <sentence>dave likes stuff</sentence><properti...

或者使用~返回相反的：不包含'sqlcommand'或'where'的字符串

df[~(df['R'].str.contains('where', flags=re.IGNORECASE) & df['R'].str.contains('sqlcommand', flags=re.IGNORECASE))]

    Q            R
1   file.sql    <sentence>dave likes stuff</sentence><properti...

Answer 2

首先，你必须有适当的 XML 和 SQL 内容，所以你应该 进行以下更正：

1. 由于开始标签是<properties>，所以结束标签也必须是 </properties>，不是</property>。

2. version、description 和 type 是 属性（在它们之后 有> 关闭开始标签，所以在properties 之后 应该是一个空格，而不是>。

3. 删除version="2"之后的,。

4. 在name之后删除,。

5. 删除<properties之前的(和</properties>之后的)。

要查找所需的行，请使用str.contains 作为过滤器 表达。

下面有一个示例程序：

import pandas as pd
import re

df4 = pd.DataFrame({
  'Q' : 'file.sql',
  'R' : [
    '<s>dave</s><properties type="SqlCommand">select id, name '
      'from table where criteria=\'5\'</properties><s>dave</s>',
    '<s>dave</s><properties>select id, name from table '
      'where criteria=\'6\'</properties><s>dave</s>',
    '<s>mike</s><properties type="SqlCommand">drop table "Xyz"'
      '</properties><s>mike</s>' ]})
df5 = df4[df4.R.str.contains(
    '<properties[^<>]+?sqlcommand[^<>]+?>[^<>]+?where',
    flags=re.IGNORECASE)]
print(df5)

请注意，正则表达式关注正确的顺序 字符串：

• 第一场比赛<properties。
• 然后是除< 和> ([^<>]+?) 之外的字符序列。 所以我们仍然在刚刚打开的 XML 标记中。
• 然后匹配sqlcommand（忽略大小写）。
• 然后是< 和> 之外的另一个字符序列 ([^<>]+?)。
• 然后>，关闭标签。
• 然后是< 和> 之外的另一个字符序列 ([^<>]+?)。
• 最后是where（也忽略大小写）。

尝试在两个单独的文件中检查 sqlcommand 和 where 正则表达式是错误的，因为这些词可以在其他位置， 不符合您的要求。