Python Selenium 数据不加载（网站安全）

Question

请在下面找到我尝试下载/抓取“csv”文件的代码。代码是测试的第一阶段，即使没有错误，它也会失败。 --数据不加载到壁虎驱动中

from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time

driver = webdriver.Firefox(executable_path="C:\Py378\prj14\geckodriver.exe")

driver.get("https://www.nseindia.com/market-data/live-equity-market")
time.sleep(5)

element_dorpdown = Select(driver.find_element_by_id("equitieStockSelect"))
element_dorpdown.select_by_index(44)   #Updated with help of @PDHide in the comments
time.sleep(5)

代码执行正常，但由于网站的安全设置，无法加载与选项相关的数据，并且当我手动选择并更新选项时，表格没有更新，好像没有进行选择一样。 （也许它开始了解它的硒驱动程序，并且需要标题，但不确定......）另外，当我尝试点击“以 CSV 格式下载”时，它会超时。

我需要下载F&O的csv，选择成功后（如上图）...请帮助...

我可以在普通浏览器（已安装）上浏览网站，但是当我使用 python(selenium) 时，它在那些浏览器上就失败了……请问如何绕过安全性？？？

Answer 1

我尝试执行代码（使用 Chrome，但这不重要）或者我应该说，它的轻微变化，以便我可以更好地了解发生了什么（注意我使用 implicitly_wait 而不是 @987654324 @，后者浪费时间）。这里我只是想选择第二个选项：

from selenium import webdriver
from selenium.webdriver.support.ui import Select

options = webdriver.ChromeOptions()
driver = webdriver.Chrome(options=options)

try:
    driver.implicitly_wait(3) # wait up to 3 seconds before calls to find elements time out
    driver.get("https://www.nseindia.com/market-data/live-equity-market")
    select = Select(driver.find_element_by_id("equitieStockSelect"))
    select.select_by_index(1)
finally:
    input('pausing...')
    driver.quit()

如您所见，选择第二个选项没有问题。但是，新表无法加载：

此时，我在页面上手动发出重新加载，我得到以下结果。我的结论是该网站正在检测浏览器正在自动运行并阻止访问：

更新

因此可以使用requests 检索数据。我使用 Chrome 检查器查看网络 XHR 请求，然后选择第二个选项 (NIFTY NEXT 50) 并观察正在发出的 AJAX 请求：

在这种情况下，URL 是：https://www.nseindia.com/api/equity-stockIndices?index=NIFTY%20NEXT%2050。但是，您必须首先使用 requests Session 实例获取初始页面：

import requests

try:
    s = requests.Session()
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
    s.headers.update(headers)
    # You have to first retrieve the initial page:
    resp = s.get('https://www.nseindia.com/market-data/live-equity-market')
    resp.raise_for_status()
    #print(resp.text)
    resp = s.get('https://www.nseindia.com/api/equity-stockIndices?index=NIFTY%20NEXT%2050')
    resp.raise_for_status()
    data = resp.json()
    print(data)
except Exception as e:
    print(e)

打印：

{'name': 'NIFTY NEXT 50', 'advance': {'declines': '25', 'advances': '24', 'unchanged': '1'}, 'timestamp': '27-Nov-2020 16:00:00', 'data': [{'priority': 1, 'symbol': 'NIFTY NEXT 50', 'identifier': 'NIFTY NEXT 50', 'open': 30316.45,  etc. (data too long) }

更新 2

通常，要计算 URL，您需要获取任何索引，例如索引 44，查看该索引的相应选项值，在本例中为“F&O 中的证券”，并将其替换为变量 option_value以下程序：

from urllib.parse import quote_plus

option_value = 'SECURITIES IN F&O'

url = 'https://www.nseindia.com/api/equity-stockIndices?index=' + quote_plus(option_value)
print(url)

打印：

https://www.nseindia.com/api/equity-stockIndices?index=SECURITIES+IN+F%26O

上面的 URL 是要使用的值。