IndexError：列表索引超出范围 [Python 3.x Web 抓取]

Question

我正在尝试通过搜索 twitter、tweet url 来使用 csv 中的 URL 获取地理位置。输入文件有超过 100K 行和一堆列。

我正在使用带有所有更新版本的 python 3.x anaconda，我收到以下错误：

Traceback (most recent call last):
  File "__main__.py", line 21, in <module>
    location = get_location(userid)
  File "C:path\twitter_location.py", line 22, in get_location
    location = html.select('.ProfileHeaderCard-locationText')[0].text.strip()
IndexError: list index out of range

下面的代码：

#!/usr/env/bin python
import urllib.request
import urllib3
from bs4 import BeautifulSoup

def get_location(userid):
    '''
    Get location as string ('Paris', 'New york', ..) by scraping twitter profils page.
    Returns None if location can not be scrapped
    '''

    page_url = 'http://twitter.com/{0}'.format(userid)

    try:
        page = urllib.request.urlopen(page_url)
    except urllib.request.HTTPError:
        print ('ERROR: user {} not found'.format(userid))
        return None

    content = page.read()
    html = BeautifulSoup(content)
    location = html.select('.ProfileHeaderCard-locationText')[0].text.strip()

    if location.strip() == '':
        return None
    return location.strip()

我正在寻找一种快速修复方法，以便我可以执行超过 100k 行的整个输入文件。

编辑：我 如下面的答案所述，在包含try 块后，输出已停止获取地理位置。

在包含 try 块之前，在某些计数 list out of range 错误之后。

包含try 块后，错误消失了，坐标也消失了。我得到了所有none 值。

这是DropBox 链接，其中包含输入、输出之前和之后以及整个代码包。

编辑：II

整个代码和输入都在 Dropbox 中

感谢您在解决问题方面的帮助。提前致谢。

Answer 1

嗯，你有一个对 HTTPErrors 的异常处理，但是如果没有.ProfileHeaderCard-locationText，就没有处理。这大概就是问题所在。现在轮到你 可以导入/实现

import logging
logging.warning('Watch out!')  # will print a message to the console
logging.info('I told you so')  # will not print anything
logging.exception()

您可以在所有程序中使用它（并且应该！）。 就像你添加了一个try，除了`try的块：

try:
    page = urllib.request.urlopen(page_url)
except urllib.request.HTTPError:
    print('ERROR: user {} not found'.format(userid))
    return None

你也可以这样做

try:
    location = html.select('.ProfileHeaderCard-locationText')[0].text.strip()
except Exception:
    print("Error,Hey dud couldn't find Profile...")

主要问题可能是 Google 限制了他们的 API 的使用。更方便的方法是使用Google-Maps-Python-API 点击查看详情 用法示例：

from geolocation.google_maps import GoogleMaps

address = "New York City Wall Street 12"

google_maps = GoogleMaps(api_key='your_google_maps_key') 

location = google_maps.search(location=address) # sends search to Google Maps.

print(location.all()) # returns all locations.

my_location = location.first() # returns only first location.

print(my_location.city)
print(my_location.route)
print(my_location.street_number)
print(my_location.postal_code)

编辑：

    if location.strip() == '':
        return None
return location.strip()

我想你的意思是：

if location.strip()==None:
    return None
else:
    return location.strip()

Answer 2

虽然按照故障保险丝的回答中的建议处理“索引超出范围”异常很重要，但这只会解决症状。

问题的根源是在一定数量的请求之后，twitter 会阻止您的 IP 并停止发送任何可用的内容。 （他们不喜欢这样的大量查询）。

可能的解决方案：

1. 慢一点。这将延迟被 Twitter 阻止。你需要走得很慢，你根本不会被阻塞。虽然这对于 10 万条记录可能是不可能的，但如果您有时间等待结果，这将是一个简单的解决方法。

2. 使用旋转代理。使用其中的许多。 ...或者结合一些代理，速度稍微慢一些。