【发布时间】:2021-08-09 16:45:50
【问题描述】:
我正在尝试构建一个函数来循环访问网站的后续页面并从每个页面中抓取数据。我收到以下非类型错误,我不知道如何解决它:
如果不是 page.find('a', {'class': 'btn btn-default current disabled'}): AttributeError: 'NoneType' 对象没有属性 'find'
from bs4 import *
import time
import pandas as pd
import pickle
import html5lib
from requests_html import HTMLSession
s = HTMLSession()
url = "https://cryptoli.st/lists/fixed-supply"
def get_data(url):
r = s.get(url)
global soup
soup = BeautifulSoup(r.text, 'html.parser')
return soup
def get_next_page(data):
page = soup.find('ul', {'class': 'pager'})
if not page.find('a', {'class': 'btn btn-default current disabled'}):
url = 'https://cryptoli.st/lists/fixed-supply' + \
str(page.find('li', {'class': 'paginate_button'}).find(
'a')[{'class': 'btn btn-default next'}])
return url
else:
return
data = get_data(url)
print(get_next_page(soup))
任何帮助将不胜感激。
【问题讨论】: