使用 Python 从网页中提取链接

Question

我有这个问题：我想从这个页面中提取每个项目的 URL，但我不知道该怎么做。我试图通过

提取它

projects = main_page.find_all_next('div', attrs={'class':'relative self-start'})

但我没有得到链接。我怎样才能通过它？提前感谢您对我的帮助。

Answer 1

此网站动态加载内容。所以你需要一些可以运行 javascript 的东西。有一个使用 selenium 访问网站的简单示例。

from selenium import webdriver
from bs4 import BeautifulSoup

url = "https://www.kickstarter.com/discover/categories/music"

dr = webdriver.Chrome() # or PhantomJS,Firefox
try:
    dr.get(url)
    main_page = BeautifulSoup(dr.page_source,"lxml")
    projects = main_page.find_all('div', {'class':'relative self-start'})
    project_showed = main_page.find_all("div",class_="bg-white black relative border-grey-500 border")
    print(len(projects))
except Exception as e:
    raise e

finally:
    dr.close()

但是如果你不能及时加载数据，你应该使用WebDriverWait或Implicit等待加载完成。 WebDriverWait and Implicit

Answer 2

javascript生成的链接，用BeutifulSoup获取不到，用Regex抓取javascript变量中的url

import requests
import re

html = requests.get('https://www.kickstarter.com/discover/categories/music').text
listURL = re.findall(r'"project":"([^"]+)', html)
for url in listURL:
    print url