Python BeautifulSoup find_all 在 csv 的 for 循环中

Question

我正在处理的项目遇到问题。

我有一个 CSV 文件，其中包含第一列中的所有网址。

我下面的脚本当前拉入并遍历每一行，但是一旦它尝试 find_all 它就会准备好以下错误： IndexError: 列表索引超出范围。

import requests
from bs4 import BeautifulSoup
import csv

with open('1.csv', "r", newline="") as inFile, open("1output.csv", "w", newline="") as outFile:
    next(inFile)
    reader = csv.reader(inFile)
    writer = csv.writer(outFile)
    for row in reader:
        subURL = row[0]

        # Parse the HTML from the website
        URL = 'https://www.example.com/{}'.format(subURL)
        page = requests.get(URL)
        soup = BeautifulSoup(page.content, 'html.parser')

        # find iframe on webpage and get the src of the iframe
        iframeDesc = soup.find_all('iframe')[0]
        pageDesc = requests.get(iframeDesc['src'])
        soupDesc = BeautifulSoup(pageDesc.content, 'html.parser')

        # Get Description from iframe Desc
        itemDesc = soupDesc.find_all('div', id="div_01")

此行发生错误：

iframeDesc = soup.find_all('iframe')[0]

Answer 1

您的问题可能有多种动机，让我向您介绍最有可能的原因。

1. 错误模式：在这种情况下，异常是正常的，因为您要求 BeautifulSoup 返回文档中未出现的内容
2. 错字：最简单的一种，可能是一个错误的字母导致您无法获得所需的节点？

此外，我怀疑您在树中寻找错误的节点。事实上，这种情况在使用 BS 时经常发生，因为您基本上是在 DOM 中下降，并且很可能会发生缺少标签的情况。只需在您的代码周围放置一些打印件，看看这些行发生了什么。