使用 BeautifulSoup 抓取维基百科答案

【问题标题】：Web Scraping Wikipedia With BeautifulSoup使用 BeautifulSoup 抓取维基百科
【发布时间】：2021-11-12 09:19:29
【问题描述】：

我只是想抓取输入维基百科页面的标题，但运行后我得到Bad Title

这是代码

import requests
from bs4 import BeautifulSoup

wiki = input('Enter the wiki:')

url = "https://en.wikipedia.org/wiki/{wiki}"
response = requests.get(url)

soup = BeautifulSoup(response.content, 'html.parser')

title = soup.find(id="firstHeading")
print(title.string)

我想最终总结整个页面，但似乎无法通过打印标题

【问题讨论】：

您对 url 的分配需要是一个 f-string

标签： python web-scraping beautifulsoup

【解决方案1】：

您需要在字符串前面加上 f 才能正确解析 {wiki}。您可能还需要对 URL 进行编码以正确处理特殊字符，例如空格。例如：

import urllib.parse        
import requests
from bs4 import BeautifulSoup

wiki = input('Enter the wiki:')

url = f"https://en.wikipedia.org/wiki/{urllib.parse.quote(wiki)}"
response = requests.get(url)

soup = BeautifulSoup(response.content, 'html.parser')

title = soup.find(id="firstHeading")
print(title.string)

【讨论】：