Scrapy 正则表达式自定义管道

Question

这是我的 Scrapy 自定义正则表达式管道代码：

for p in item['code']:
        for search_type, pattern in RegEx.regexp.iteritems():
            s = re.findall(pattern, p)
                if s:
                    return item
                else: 
                    raise DropItem

这是我的正则表达式代码：

class RegEx(object):
regexp = {
    'email' : re.compile('liczba'), 'whatever' : re.compile(r'mit'), 'blu' : re.compile(r'houseLocked'),}

不是真正编译的正则表达式，仅用于演示目的。

这可行，但一旦找到匹配项，并触发“返回项目”，其余的就会被丢弃。

是否可以在 Scrapy 管道中继续迭代？

我已经做了 4 天了，尝试了你能想象到的每一种排列方式，但结果总是一样。

我要么错过了显而易见的事情，要么这并不简单。

如果无法通过这种方式，任何关于新路线的建议都非常感谢。

Answer 1

scrapy 管道中的process_item() 方法应该只处理一项。如果你提出DropItem 或返回一些东西，你会打破循环并丢弃其余的解析。

您的循环将在您进行第一次正则表达式匹配后中断，因为return item 和DropItem 都会中断循环并停止当前管道 - 换句话说，它将在第一个循环上中断。

要解决这个问题，只需将 DropItem 移到主循环之外：

def process_item(self, item):
    for p in item['code']:
        for search_type, pattern in RegEx.regexp.iteritems():
            if re.findall(pattern, p):
                return item  # one match found == item is valid, return
    # if this is reached, it means no matches were found
    # and we don't want this item
    raise DropItem