Python语法无法识别字符串中的阿塞拜疆字母

Question

我正在尝试使用创建链接的方法来抓取网页，但是当链接中包含阿塞拜疆字母时会出现问题。 Python 拆分链接从阿塞拜疆字母表开始。

一个例子：

链接应该像 => http://marja.az/search?q=ali+əli

但它会像 => 一样打印它 http://marja.az/search?q=ali+əli

代码：

import requests
from bs4 import BeautifulSoup as bs
import locale


URL = 'http://marja.az/search?q='

# if there is a prabel inside of keyword merge with + sign
KEYWORDS = [
           'Vali+Vəli'
           ]

for key in KEYWORDS:
    search_url = URL + key
    print(search_url)
    r = requests.get(search_url)
    soup = bs(r.content, "lxml")
    for data in soup.find_all("div", {"class": "searchNews"}):
        for a in data.find_all("a"):
            href = a.get("href")
            link = "http://marja.az/" + href
            print(link)
            r1 = requests.get(link)
            soup1 = bs(r1.content, "lxml")
            # HEADER of NEWS
            header = soup1.find("h1", attrs={"class": "title"}).text
            print(header)
            # CONTENT of NEWS
            paragraph = soup1.find("div", attrs={"class": "text"}).findAll('p', text=True, recursive=False)
            for p in paragraph:
                print(p.text)
            # DATE of NEWS PUBLISHED
            date = soup1.find('div', {'style': 'color: #af0000; margin:10px 0px 10px 0px; font-size:12px; ''font'
                                               '-weight:bold; text-align:left;'}).text
            date = date.split(",")[0].split(" ")
            date = date[0] + "-" + date[1] + "-" + date[2]
            print(date)

Answer 1

脚本的输出是 100% 纯文本 - 在 Python 语言中执行“打印” 后没有任何内容可以将打印的 URL 转换为工作链接。

它是您用来查看程序输出的工具 - 无论您是在终端仿真器、IDE 还是 Jupyter 笔记本中运行程序，该程序都会尝试转换以 @ 开头的字符串987654323@ 进入工作链接并且在这个字符上失败了。

因此，虽然这与 Python 行为无关，但您可以尝试一件事：在打印 URL 之前转义该部分 - 也许有问题的程序会识别整个 URL。

为此，请执行以下操作：

from urllib.parse import quote

...
# and later on the code replace this line:
             # link = "http://marja.az/" + href
             # for
             link = "http://marja.az/" + quote(href)

如果这不起作用，您将不得不求助于编写自己的输出界面，无论是网页还是 Tkinter 窗口，都可以正确使用您的链接 - 当然，您可以针对无论您使用什么程序来运行您的脚本 - 这是该程序的错误，即来自不同字母表的字符未被视为 URL 的一部分。