如何从python页面上的“检查元素”获取链接？

Question

我需要从网页获取视频链接。我点击检查元素并转到网络选项卡，我看到一个我需要获取的链接......但是我如何通过 python 访问这个链接？

情况是这样的： http://i.imgur.com/DS811BW.jpg?1

链接位于标题中：

http://i.imgur.com/5C2vKje.jpg

我只需要链接，不需要下载视频。

最好的方法是什么？也许是硒？

Answer 1

硒会起作用，是的。您要做的是在 DOM 中找到将其拉入的元素。不过，在您走这条路之前，您应该尝试手动找出您要寻找的元素。您可能正在寻找一个视频标签及其子源标签。

HTML 5 视频标签文档：http://www.w3schools.com/tags/tag_video.asp

Selenium 选择器文档：https://selenium-python.readthedocs.org/locating-elements.html

Answer 2

你只需要做一个 HTTP 请求来获取页面，然后通过响应来获取 url。您需要定义 XPath 并使用 lxml 来获取 URL。类似的东西（这只是一个例子，可能不会直接工作）：

import lxml.html as parser
import requests

path = <define the XPATH>
url = <your url>

data = do_request(url)
if data:
    doc = parser.fromstring(data) 
    url_res = doc.xpath(path) #the url from the webpage

#do_requests() example
def do_request(url):
    r = requests.get(url)
    return r.text if r.status_code == 200 else None