【问题标题】:Why am I unable to request a certain webpage using python requests为什么我无法使用 python 请求请求某个网页
【发布时间】:2019-10-17 18:21:32
【问题描述】:

我进不去this webpage。 当我尝试使用 requests.get(url) 时,它根本没有进展,我没有收到任何 HTTP 错误,就像它一遍又一遍地尝试一样。

我尝试过使用会话和标题,但它们都不适合我。

import bs4
from bs4 import BeautifulSoup as bs
import requests


url="https://www.gogoanime1.com/watch/hangyakusei-million-arthur-2nd-season/episode/episode-1"
epn=int(input("enter which episode link is it?: "))
newses=requests.Session()
newses.headers.update({'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'})
ssn=newses.get(url)
page=ssn.text
print()

soup=bs(page,'html.parser')
a=soup.find('div',{'class':'vmn-buttons'})
links=a.find_all('a')

for link in links:
    print(link)
    if link.text=="Download":
        print("found")
        dl=link['href']
        break
print(dl)

bom=newses.get(dl)
print(bom.text)

我至少想要一个响应,但它整天挂在那里,我怎样才能像真正的用户一样访问页面并抓取其内容?

【问题讨论】:

    标签: python http web-scraping python-requests


    【解决方案1】:

    我没有注意到它实际上是一个文件而不是要解析的网页。下载文件需要更多时间。

    【讨论】:

      猜你喜欢
      • 2015-06-24
      • 1970-01-01
      • 2017-01-14
      • 1970-01-01
      • 2014-09-13
      • 2021-02-07
      • 1970-01-01
      • 2020-08-30
      • 1970-01-01
      相关资源
      最近更新 更多