无法使用python请求和beautifulsoup从页面中提取信息答案

【问题标题】：Can't extract info from page using python requests and beautifulsoup无法使用python请求和beautifulsoup从页面中提取信息
【发布时间】：2019-11-28 06:00:10
【问题描述】：

我正在尝试使用 python 请求和漂亮的汤从https://www.rtrs.tv/vijesti/index.php 中提取一些信息（最新消息），但遇到了一些问题。我在抓取方面没有太多经验，但我想学习使用请求进行抓取。

这是我目前正在处理的一段代码，我被困在这里：

import requests

from requests import session

from bs4 import BeautifulSoup

link_root = r'https://www.rtrs.tv/vijesti/index.php'

with session() as c:

    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

    r = c.get(link_root, headers=headers)

    print r

    soup = BeautifulSoup(r.text, 'html.parser')

    print soup

我在打印时得到了这个（我只收集了我感兴趣的部分数据）： ? ╜╨╖╨░╤à╤é╤ÿ╨╡╨▓╨╛╨┤╨£╨╕╨╗╨╕╤¢╨╡╨▓╨╕╤¢╨░

预计会出现这样的情况：Папа позвао на потпуну забрану нуклеарног оружја (ФОТО/ВИДЕО)

所以我想知道，网站使用西里尔字母是否重要还是有其他问题？

有人知道可能的解决方案吗？

【问题讨论】：

可能只是你没有西里尔字体来显示它，或者它的编码与UTF-8不同，而你的编码不正确。
idk 这是否是您正在寻找的。检查我的答案。
如果您仍然无法显示输出。您能否告知您使用的是哪个IDLE！并确认您是否使用windows！如果您以python script.py 运行脚本，请告知。
也为我运行这个import sys 然后print(sys.stdin.encoding)

标签： python web-scraping beautifulsoup python-requests

【解决方案1】：

import requests
from bs4 import BeautifulSoup

r = requests.get('https://www.rtrs.tv/vijesti/index.php')
soup = BeautifulSoup(r.text, 'html.parser')

for item in soup.findAll('ul', attrs={'class': 'ul-najnovije'}):
    for new in item.findAll('li'):
        print(new.text)

输出：

Вишковић: Нисам добио ниједан захтјев од Милићевића
БиХ не иде у НАТО; Српска враћена као фактор одлучивања (ФОТО) 
Драган Богданић реизабран за предсједника теслићког СНСД-а
Милиновић: РТРС уређују људи посвећени Српској
СИПА заплијенила 100 килограма дроге на подручју Требиња (ФОТО)
Тришић Бабић: Прича о члансту у НАТО стављена са стране
Додик за Раша тудеј: БиХ је неуспјешан експеримент Запада
Како је Шаровић удомио Пандуревићеву 
Девастирано Партизанско спомен-гробље у Мостару
Додик: СДС и ПДП хтјели да сједе у Сарајеву и наређују Српској (ВИДЕО)
Вулин: Угрожавањем безбједности Срба аутоматски угрожена и Србија
Вулин: Угрожавањем безбједности Срба аутоматски угрожена и Србија
Вулин: Угрожавањем безбједности Срба аутоматски угрожена и Србија
Путин честитао Кустурици рођендан (ФОТО)
Високи Дечани прославили ктиторску славу (ФОТО)
Србија остаје војно неутрална
Бреза: Мислили да је из Београда па му издували гуму и оставили поруку "Србине" (ФОТО)
Тихи одлазак Милана Дашића
Приједор: Завршена Друга балканска изложба ситних животиња (ФОТО)
Пас убацио аутомобил у рикверц и возио сат времена (ВИДЕО)
У малом Међувођу партизански авион пркоси времену
Бијељинац једини спасилац на води и под водом у зимским условима
У великом пожару у Сплиту петоро повријеђених (ФОТО/ВИДЕО)
Тужбу за Јасеновац упутити Суду у Стразбуру
Афера "Муниција": Павловић на слободи
Полиција разоружала тзв. Штајерску стражу (ФОТО)
Албанија отвара конзулат у Улцињу
У поплавама у Француској двоје несталих, поплављене стотине кућа (ФОТО)
Џонсон: Брегзит ће омогућити талас инвестиција
Најмоћнија икад забиљежена експлозија у свемиру (ВИДЕО)
"Пола свијета крвари због америчке похлепе"
Папа позвао на потпуну забрану нуклеарног оружја (ФОТО/ВИДЕО)
"Тесла" има скоро 150.000 наруџби за нови електрични камионет
Хаџићи једни од највећих произвођача мркве у Српској
Здрава храна адут средњег Подриња (ВИДЕО)
Више од 50 излагача на Аранђеловданском вашару (ФОТО)
Њемачки ауто-гигант повлачи 230.000 аутомобила
Билећа: Oдузето 6.700 паклица цигарета
Упао у кућу, претукао власника и украо 2.200 евра
Младић из Србије напао возача и претукао полицајце у Бечу
Пронађено тијело мушкарца у Сарајеву
МУП: Благић приведен јер је организовао јавни скуп без пријаве надлежном органу
"Српско благо из Беча и Вукова продаја српских реликвија" у Требињу
Позориште младих "Корфеј" из Нове Биле гостовало у Требињу
Бањалука: Отворена изложба о страдању југа Србије у Великом рату (ФОТО)
Промовисани 21. "Градишки зборник" и 22. зборник "Истина о Србима"
Филм "Четири руже" ускоро у кинима (ВИДЕО)
Соколац јутрос у минусу
У недјељу облачно уз краће сунчане интервале
Облачно уз дуже сунчане интервале
У суботу облачно са сунчаним интервалима
Сунчано уз умјерену облачност, температура до 18 степени

【讨论】：