如何使用 BeautifulSoup 从被阻止的网站获取信息/数据？

Question

我想用 python 3.7 写一个脚本。但首先我必须刮它。 我在连接和从非禁止网站获取数据方面没有问题，但如果该网站被禁止，它将无法正常工作。

如果我使用 VPN 服务，我可以使用 Chrome 浏览器进入这些“被禁止”的网站。

我尝试在 pycharm 中设置代理，但失败了。我只是一直出错。 解决这个问题最简单免费的方法是什么？

from urllib.request import Request, urlopen
from bs4 import BeautifulSoup as soup

req = Request('https://www.SOMEBANNEDSITE.com/', headers={'User-Agent': 'Mozilla/5.0'})  # that web site is blocked in my country

webpage = urlopen(req).read() # code stops running at this line because it can't connect to the site. 

page_soup = soup(webpage, "html.parser") 

Answer 1

有多种方法可以抓取被阻止的网站。一个可靠的方法是使用已经提到的代理服务。

代理服务器，也称为“代理”，是一台充当您的计算机和互联网之间的网关的计算机。 当您使用代理时，您的请求将通过代理转发。您的 ip 不会直接暴露给您正在抓取的网站。

你不能简单地获取任何 ip（比如 xxx.xx.xx.xxx）和端口（比如 yy）

import requests

proxies = { 'http': "http://xxx.xx.xx.xxx:yy", 
            'https': "https://xxx.xx.xx.xxx:yy"}

r = requests.get('http://www.somebannedsite.com', proxies=proxies)

并期望得到回应。

代理应配置为接受您的请求并向您发送响应。

那么，你在哪里可以获得代理？

一个。您可以从许多提供商处购买代理。

b.使用互联网上的免费代理列表。

除非您进行大规模抓取，否则您无需购买代理。 现在，我将专注于互联网上提供的免费代理。只需在 Google 上搜索“免费代理提供商”，您就会找到提供免费代理的网站列表。转到其中任何一个并获取任何ip 和对应的port。

import requests

#replace the ip and port below with the ip and port you got from any of the free sites

proxies = { 'http': "http://182.52.51.155:39236", 
            'https': "https://182.52.51.155:39236"}

r = requests.get('http://www.somebannedsite.com', proxies=proxies)
print(r.text)

如果可能，您应该使用具有“精英”匿名级别的代理（大多数提供免费代理的网站都会指定匿名级别）。如果有兴趣，您还可以进行谷歌搜索以找出“精英”、“匿名”和“透明”代理之间的区别。

注意：

这些免费代理中的大多数都不是那么可靠。因此，如果您使用一个 ip 和端口组合出现错误。换一个试试。

Answer 2

您最好的解决方案是通过requests 库使用代理。这将是您的最佳解决方案，因为它通过代理具有flexibly handling the requests 的功能。

这是一个小例子：

import requests
from bs4 import BeautifulSoup as soup
# use your usable proxies here
# replace host with you proxy IP and port with port number
proxies = { 'http': "http://host:port", 
            'https': "https://host:port"} 

text = requests.get('http://www.somebannedsite.com', proxies=proxies, headers={'User-Agent': 'Mozilla/5.0'}).text
page_soup = soup(text, "html.parser") # use whatever parser you prefer, maybe lxml?

如果您想使用 SOCKS5，则必须通过 pip install requests[socks] 获取依赖项，然后将代理部分替换为：

# user is your authentication username
# pass is your auth password
# host and port are similar as above
proxies = { 'http': 'socks5://user:pass@host:port', 
            'https': 'socks5://user:pass@host:port' }

如果您手头没有代理，您可以fetch some proxies。