我想要脚本中的 HTML 内容。使用请求和 Bs4 库

Question

我正在尝试从 Twitter 上抓取一些数据，但是我正在以脚本的形式获取数据，请帮我解决这个问题，我想要脚本中的 HTML 内容

from bs4 import BeautifulSoup as bs4
from requests import get

def data(i):
    page='https://twitter.com/search?q=%23{}&src=typeahead_click'
    page1=page.format(i)
    #print(page)
    load=get(page1)
    data=bs4(load.text,'html.parser')
    print(data)

    
i='JobseekersSA'
data(i)

我得到的结果在脚本中，请帮我获取html的内容。

Answer 1

不幸的是，Twitter 现在需要 JavaScript。虽然可能有一种方法可以将数据作为 JSON 获取，但如果没有 JavaScript 或其他一些脚本将该数据转换为 HTML，则无法将其作为 HTML 获取。您抓取的数据可能是 JSON。我会使用现代浏览器的检查器和其他网络工具来查看正在获取的所有内容、查找数据文件以及它们与原始页面的关系。