Python打开一个url并从'onclick'中提取location.href值

Question

这是来自 url "https://www.example.com" 的检查元素：

<button type="button" class="btn btn-click" onclick="location.href='https://d3.net/archive/123.mp4'"></button>

我想写一个脚本打开上面的url（https://www.example.com），然后从'onclick'中提取这个'https://d3.net/archive/123.mp4'。

我该怎么办？

Answer 1

您可以使用 Selenium 轻松做到这一点。

from selenium import webdriver
import re

driver = webdriver.Firefox()
# Navigate to the URL
driver.get("http://www.example.com")
# Find all links matching our XPATH
elements_list = driver.find_elements_by_xpath("//button[@class='btn btn-click']")
# Iterate the element list
for element in elements_list: 
    # Extract the onClick attribute value
    onclick_attr_value = element.get_attribute("onclick")
    # Match regex to capture the URL only
    match = re.search("'(.*)'", onclick_attr_value)
    if match:
        # If the regex matched, Bingo!
        found_url = match.group(1)
        print(found_url)

Answer 2

如果你想继续这样的链接，我推荐一种不同的方法：

使用 CSS Selectors

那么不需要re 模块。

用于调试的更新 1

如果您想查看根据您的要求获得的汤，您可以在此处进行操作（请参阅评论 #DEBUG1）或在下面的代码示例（#DEBUG3）中查看您获得的汤成分，请参阅下面的代码示例中的#DEBUG2。

from bs4 import BeautifulSoup 
#DEBUG1 print the soup. 
# import sys
# print >> sys.stderr, soup.prettify() # python2.X
print(soup.prettify) # python3.X

# select button with location href at the beginning (you can add the class as well)
for item in soup.select("button[onclick^=\"location.href=\"]"):
    # ... do stuff here, e.g.
    onclick = item["onclick"]
    href = onclick.split("=")[1]

    # now href is 'https://d3spcaxyl0it1f.cloudfront.net/archive/123.mp4'
    href = href.strip("'")

    # the leading and trailing ' are gone.
    if href.endswith(".mp4"):
        # do stuff here or precise your css selector further
        # ...

为什么要使用这种方法？ 确保您的按钮确实具有请求的属性。

为什么这是一件好事？ 因为您不需要先使用item.get('onclick') 来检查属性是否存在，然后再根据该决定采取行动。

如何将页面放入汤中？ （直接引用@akore128）

# import sys
import requests 
from bs4 import BeautifulSoup 

page = requests.get('http://www.example.com') 
#DEBUG2
# print >> sys.stderr, page.text # python2.X
print(page.text) # python3.X

# Create a BeautifulSoup object 
soup = BeautifulSoup(page.text, 'html.parser')
#DEBUG3 print the soup. 
# print >> sys.stderr, soup.prettify() # python2.X
print(soup.prettify) # python3.X