从古腾堡德项目中刮取书籍正文

Question

我是 python 新手，我正在寻找一种方法来提取现有的开源书籍，这些书籍可以在 gutenberg-de 上找到，例如 this one 我需要使用它们进行进一步的分析和文本挖掘。

我尝试了这段代码，在教程中找到，它提取元数据，但它给我的不是正文内容，而是我需要从中刮取文本的“页面”列表。

import requests
from bs4 import BeautifulSoup

# Make a request
page = requests.get(
    "https://www.projekt-gutenberg.org/keller/heinrich/")
soup = BeautifulSoup(page.content, 'html.parser')

# Extract title of page
page_title = soup.title

# Extract body of page
page_body = soup.body

# Extract head of page
page_head = soup.head

# print the result
print(page_title, page_head)

我想我可以用它作为第二步来提取它吗？不过，我不确定如何。

理想情况下，我希望以表格方式存储它们，并能够将它们保存为 csv，保留元数据作者、标题、年份和章节。有什么想法吗？

Answer 1

会发生什么？

首先你会得到一个页面列表，因为你没有请求正确的url它到：

page = requests.get('https://www.projekt-gutenberg.org/keller/heinrich/hein101.html')

建议如果您循环所有urls 将内容存储在dicts 的list 中并将其推送到csv 或pandas 或...

示例

import requests
from bs4 import BeautifulSoup

data = []

# Make a request
page = requests.get('https://www.projekt-gutenberg.org/keller/heinrich/hein101.html')
soup = BeautifulSoup(page.content, 'html.parser')

data.append({
    'title': soup.title,
    'chapter': soup.h2.get_text(),
    'text': ' '.join([p.get_text(strip=True) for p in soup.select('body p')[2:]])
    }
)

data