用于在 python 中抓取数据的简单脚本

Question

我正计划构建一个脚本来从网站上抓取数据，该数据将在 url 中包含不同的 id，所以我想遍历它。

例如网址：http://demosite.com/posts/1 上述网址中的“1”的数量从 1 到 2,00,000 不等。所以我想运行一个 python 脚本，它会在循环中运行并从网站上获取 1-2,00,000 之间的数据。

我正在使用以下代码-

import urllib2
import re
for i in xrange(1,200000):
    req = urllib2.Request('http://demosite.com/posts/' + i,
          headers={ 'User-Agent': 'Mozilla/5.0' })
    html = urllib2.urlopen(req).read()

    print html

Answer 1

i 是一个 int，'http://demosite.com/posts/' 是一个字符串。您不能使用 + 连接 int 和字符串。将i 转换为字符串（str(i)）或使用str.format：

url = 'http://demosite.com/posts/{}'.format(i)
req = urllib2.Request(url, headers={ 'User-Agent': 'Mozilla/5.0' })