Python Web Scraping，如何在网站上导航？

Question

我正在编写一个程序，该程序应该从网站读取某些数据并只输出某些数据（表格中的数据）。但是，我遇到了一个问题。我编写了一个登录网站的程序，但我必须从那个网站转到下一个网站，然后打开包含数据的文档。不幸的是，我不知道如何更改网站，然后打开文档并读出数据。 有谁知道我怎么能上去吗？

from bs4 import BeautifulSoup
import requests

User = ''
Pass = ''
LOGIN_URL = ''
LOGIN_API_URL = ''


def main():
    session_requests = requests.session()
    result = session_requests.get(LOGIN_URL)
    cookies = result.cookies
    soup = BeautifulSoup(result.content, "html.parser")
    auth_token = soup.find("input", {'name': 'logintoken'}).get('value')

    payload = {'username': User, 'password': Pass , 'logintoken':auth_token }

    result = session_requests.post(
    LOGIN_API_URL,
    data=payload,
    cookies=cookies
    )

    #Report successful login
    print("Login succeeded: ", result.ok)
    print("Status code:", result.status_code)
    print(result.text)

    #Get Data



    # Close Session
    requests.session().close()
    print('Session closed')

# Entry point
if __name__ == '__main__':
    main()

Answer 1

您应该阅读Selenium with Python。由于没有特定的 URL 或登录详细信息（无论如何您都不应该在此处发布），因此我们中的任何人都很难创建一个有效的示例，因为我们没有任何东西可以使用。

尝试使用上面链接中的 selenium，如果您有任何问题或遇到任何问题，请返回并提出具体问题。

BS4 和 requests 可以很强大，但是 selenium 模拟了一个网络浏览器，让你可以像“人类”一样浏览网站。从那里开始。