不确定为什么 beautifulsoup 代码不会抓取网站答案

【问题标题】：Unsure why beautifulsoup code won't scrape site不确定为什么 beautifulsoup 代码不会抓取网站
【发布时间】：2020-01-10 04:59:39
【问题描述】：

我用过 BS 相当多，但我不确定为什么这不会刮掉，因为我为 Kodi 制作的其他插件工作正常。有人可以查看标签之间的代码，或许可以找到我缺少的部分吗？

插件/python 不会抛出任何错误，它只是提供一个空的 GUI 屏幕。如果标题或图像抓取正常而链接不正确，则它将显示标题/图像，但单击时链接将不起作用。所以这显然是标题/图像部分。我什至尝试过对图像部分进行散列处理，以便它只查找链接和标题，但仍然没有。

链接被抓取：https://store.counterpunch.org/feed/podcast/

def get_soup1(url1):
    page = requests.get(url1)
    soup1 = BeautifulSoup(page.text, 'html.parser')
    print("type: ", type(soup1))
    return soup1
get_soup1("https://store.counterpunch.org/feed/podcast/")

def get_playable_podcast1(soup1):
    subjects = []
    for content in soup1.find_all('item', limit=9):
        try:        
            link = content.find('enclosure')
            link = link.get('url')
            print("\n\nLink: ", link)
            title = content.find('title')
            title = title.get_text()
        except AttributeError:
            continue
        item = {
                'url': link,
                'title': title,
                'thumbnail': "https://is2-ssl.mzstatic.com/image/thumb/Podcasts71/v4/71/55/88/71558834-c449-9ac3-e327-cad002e305b4/mza_4409042347411679857.jpg/600x600bb.jpg",
        }
        subjects.append(item)
    return subjects
def compile_playable_podcast1(playable_podcast1):
    items = []
    for podcast in playable_podcast1:
        items.append({
            'label': podcast['title'],
            'thumbnail': podcast['thumbnail'],
            'path': podcast['url'],
            'is_playable': True,
    })
    return items

【问题讨论】：

标签： python parsing web-scraping beautifulsoup kodi

【解决方案1】：

你需要一个用户代理

def get_soup1(url1):
    page = requests.get(url1, headers = {'User-Agent':'Mozilla/5.0'})
    soup1 = BeautifulSoup(page.text, 'html.parser')
    print("type: ", type(soup1))
    return soup1

【讨论】：