如何使用 Python 2.7 遵守 robots.txt？

Question

我尝试使用 Python2.7 抓取整个网站：

• 我使用robotparser解析了robots.txt文件
• 我通过网站打开每个链接“a”，然后
• 我将它们添加到要抓取的页面列表中 重点是： 我试图避开 Robots.txt 文件中的所有路径，但它们仍在要抓取的页面列表中。

如何从抓取列表中删除 Robot.txt 路径？

我还没有通过 stackoverflow 找到任何帮助。

我的代码如下：

import robotparser
import urlparse
import urllib
import urllib2
from BeautifulSoup import *

AGENT_NAME = 'PYMOTW'
URL_BASE = 'website'
urls = [URL_BASE]
visited = [URL_BASE] # Create a copy
parser = robotparser.RobotFileParser()
parser.set_url(urlparse.urljoin(URL_BASE, 'robot.txt'))
parser.read()
PATHS = [
    '/..../',

    ]
for path in PATHS:
    print '%6s : %s' % (parser.can_fetch(AGENT_NAME, path), path)
    url = urlparse.urljoin(URL_BASE, path)
    print '%6s : %s' % (parser.can_fetch(AGENT_NAME, url), url)
    robot = [url]
while (len(urls) > 0 and robot != True):
    html = urllib.urlopen(urls[0]).read()
    soup = BeautifulSoup(html) # Parse All HTML using BeautifulSoup
    urls.pop(0)
# Retrieve all of Tags as a list
    for tags in soup.findAll('a', href = True):
        tags['href'] = urlparse.urljoin(URL_BASE, tags['href'])
        if URL_BASE in tags['href'] and tags['href'] not in visited:
            urls.append(tags['href'])
            visited.append(tags['href'])
        c = len(visited)
print visited
print 'page visited', c

Answer 1

您的脚本中有几个错误。

我重构了很多，并会尝试解释。

1. 首先，当您想要进行递归时，您正在使用循环（对于每个 您获得的页面，您会获得链接并重做该过程）。
2. 然后由于我不知道的原因，urlparse.join 失败...（您的 url 被截断），所以我手动连接。
3. 美汤很重，所以我重构它只解析链接而不是整页。一个页面可以有相对链接和绝对链接，因此您需要同时处理这两者。
4. robotparser 好像挺傻的，路径一定要准确（/test 和/test/ 对他来说不一样）。如果没有在 robots.txt 中指定，他也无法理解完整的 url（测试 http://example.com/test 匹配 */test 但不匹配 /test ...）
5. 编辑：我通过过滤匹配的 url 使脚本更加强大。

这个给我：

import robotparser
import urlparse
import urllib
from BeautifulSoup import BeautifulSoup, SoupStrainer

AGENT_NAME = 'PYMOTW'
URL_BASE = 'http://www.dcs.bbk.ac.uk/~martin/sewn/ls3'
DOMAIN = urlparse.urlparse(URL_BASE).hostname
visited = ['/']  # Create a copy

parser = robotparser.RobotFileParser()
parser.set_url(URL_BASE  + '/robots.txt')
parser.read()


def process_url(url):
    # transform relative paths
    parsed_path = urlparse.urlparse(url)
    if not parsed_path.hostname:
        url = URL_BASE  + url

    # check domain
    if parsed_path.hostname != DOMAIN:
        print 'External domain ignored: %s' % parsed_path.hostname

    # ensure we are allowed to fetch url
    if not parser.can_fetch(AGENT_NAME, parsed_path.path):
        print 'Not allowed to fetch %s' % parsed_path.path
        return

    # ensure we did not already visit it
    if url in visited:
        print 'Ignoring already visited %s' % url
        return

    print 'Visiting: %s' % url
    html = urllib.urlopen(url).read()
    visited.append(url)
    links = BeautifulSoup(html, parseOnlyThese=SoupStrainer('a', href=True))

    # Retrieve all of Tags as a list
    for link in links:
        parsed_link = urlparse.urlparse(link['href'])
        if len(link['href']) is 0:
            print 'Ignoring empty link'
        elif link['href'][0] == '#':
            print 'Ignoring hash link %s' % link['href']
        elif parsed_path.hostname and parsed_link.scheme not in [None, 'http', 'https']:
            print 'Ignoring non http(s) links %s' % link['href']
        else:
            process_url(link['href'])

PATHS = [
    '/testpage.html',
    '/files/',
    '/images/',
    '/private/'
]
for path in PATHS:
    process_url(path)