如何检查网站是否有 javascript？

Question

我正在使用 beautifulsoup 构建一个 webscraper。一些网站有 javascript 内容并且不使用 urllib3 加载，因此我为它们使用 selenium。但是 selenium 响应时间太长，我需要构建一个更高效的 webscraper，因为我需要对多个网站使用相同的通用刮板。因此我在想是否有某种方法可以找出网站是否只有 js 内容然后才使用 selenium 否则我将使用更快的 urllib

from selenium import webdriver
from bs4 import BeautifulSoup
import time

browser = webdriver.Chrome()

strt=time.time()
y=browser.get("https://www.amazon.jobs/en/locations/bangalore-india")
#time.sleep(10)
html = browser.page_source
soup = BeautifulSoup(html,'lxml')
li=soup.find_all('ul')
print(li)
print('load time='+str(time.time()-strt))

Answer 1

这是使用 selenium 进行的简单检查

jsSize = (len(driver.find_elements_by_xpath("/html/head/script")))

if jsSize>0:
    print("Page contains javascript")

Answer 2

script 标签用于定义客户端脚本 (JavaScript)。

元素要么包含脚本语句，要么通过 src 属性指向外部脚本文件。

在你要抓取的网页上右键>>查看页面源>>

查找名为 script 的标签，脚本标签将表明您尝试抓取的网页也包含 JavaScript。