【发布时间】:2019-10-17 18:21:32
【问题描述】:
我进不去this webpage。
当我尝试使用 requests.get(url) 时,它根本没有进展,我没有收到任何 HTTP 错误,就像它一遍又一遍地尝试一样。
我尝试过使用会话和标题,但它们都不适合我。
import bs4
from bs4 import BeautifulSoup as bs
import requests
url="https://www.gogoanime1.com/watch/hangyakusei-million-arthur-2nd-season/episode/episode-1"
epn=int(input("enter which episode link is it?: "))
newses=requests.Session()
newses.headers.update({'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'})
ssn=newses.get(url)
page=ssn.text
print()
soup=bs(page,'html.parser')
a=soup.find('div',{'class':'vmn-buttons'})
links=a.find_all('a')
for link in links:
print(link)
if link.text=="Download":
print("found")
dl=link['href']
break
print(dl)
bom=newses.get(dl)
print(bom.text)
我至少想要一个响应,但它整天挂在那里,我怎样才能像真正的用户一样访问页面并抓取其内容?
【问题讨论】:
标签: python http web-scraping python-requests