如何使用 Beautifulsoup 抓取整个网站

Question

我对编程和 OO 编程尤其陌生。尽管如此，我正在尝试编写一个非常简单的网络爬虫蜘蛛。这是我的第一种方法：

我需要从这个页面获取数据：http://europa.eu/youth/volunteering/evs-organisation_en

首先，我查看页面源代码以查找 HTML 元素？ view-source:https://europa.eu/youth/volunteering/evs-organisation_en

注意：我需要获取此行正下方的数据：

EVS 认证组织搜索结果：6066

我为这份工作选择了漂亮的汤——因为它非常强大：

我使用 find_all：

soup.find_all('p')[0].get_text() # Searching for tags by class and id

注意：CSS 使用类和 ID 来确定将某些样式应用于哪些 HTML 元素。我们也可以在抓取时使用它们来指定我们想要抓取的特定元素。

查看课程：

                  <div class="col-md-4">
            <div class="vp ey_block block-is-flex">
  <div class="ey_inner_block">
    <h4 class="text-center"><a href="/youth/volunteering/organisation/935175449_en" target="_blank">&quot;People need people&quot; Zaporizhya oblast civic organisation of disabled families</a></h4>
            <p class="ey_info">
    <i class="fa fa-location-arrow fa-lg"></i>
    Zaporizhzhya, <strong>Ukraine</strong>
</p>    <p class="ey_info"><i class="fa fa-hand-o-right fa-lg"></i> Sending</p>
                  <p><strong>PIC no:</strong> 935175449</p>
        <div class="empty-block">
      <a href="/youth/volunteering/organisation/935175449_en" target="_blank" class="ey_btn btn btn-default pull-right">Read more</a>    </div>
  </div>

所以这导致：

# import libraries
import urllib2
from bs4 import BeautifulSoup
page = requests.get("https://europa.eu/youth/volunteering/evs-organisation_en")
soup = BeautifulSoup(page.content, 'html.parser')
soup

现在，我们可以使用 find_all 方法按类或 id 搜索项目。在下面的示例中，我们将搜索任何具有类 external-text

的 p 标签

<div class="col-md-4">

所以我们选择：

soup.find_all(class_="col-md-4")

现在我必须合并所有。

更新：我的方法：到目前为止：

我使用 BeautifulSoup4 从网页中提取了包含在多个 HTML 标记中的数据。我想将所有提取的数据存储在一个列表中。而且 - 更具体地说：我希望每个提取的数据都作为单独的列表元素，用逗号分隔（即 CSV 格式）。

从头开始：

这里我们有 HTML 内容结构：

 <div class="view-content">
            <div class="row is-flex"></span>
                 <div class="col-md-4"></span>
            <div class </span>
  <div class= >
    <h4 Data 1 </span>
          <div class= Data 2</span>
            <p class=
    <i class=
     <strong>Data 3 </span>
</p>    <p class= Data 4 </span>
          <p class= Data 5 </span>
                  <p><strong>Data 6</span>
        <div class=</span>
      <a href="Data 7</span>
  </div>
</div>

要提取的代码：

for data in elem.find_all('span', class_=""):

这应该给出一个输出：

data = [ele.text for ele in soup.find_all('span', {'class':'NormalTextrun'})]
print(data)

输出： ['数据1'、'数据2'、'数据3'等等]

问题：/我需要提取部分的帮助...

Answer 1

试试这个

data = [ele.text for ele in soup.find_all(text = True) if ele.text.strip() != '']
print(data)