HTML 使用重复的 div 类名抓取网站

Question

我目前正在处理抓取 baka-update 的 HTML。 但是，Div Class 的名称是重复的。

由于我的目标是 csv 或 json，我想使用 [sCat] 中的信息作为列名，使用 [sContent] 来存储..... 他们是这种网站的方式吗？

谢谢，

示例 https://www.mangaupdates.com/series.html?id=75363

图片 1 图 2

from lxml import html
import requests

page = requests.get('http://www.mangaupdates.com/series.html?id=153558?')
tree = html.fromstring(page.content)

#Get the name of the columns.... I hope
sCat = tree.xpath('//div[@class="sCat"]/text()')
#Get the actual data
sContent = tree.xpath('//div[@class="sContent"]/text()')

print('sCat: ', sCat)
print('sContent: ', sContent)

我试过了，但没有找到 @Jasper Nichol M Fabella

Answer 1

我尝试编辑您的代码并得到以下输出。也许会有所帮助。

from lxml import html
import requests

page = requests.get('http://www.mangaupdates.com/series.html?id=153558?')
tree = html.fromstring(page.content)
# print(page.content)

#Get the name of the columns.... I hope
sCat = tree.xpath('//div[@class="sCat"]')
#Get the actual data
sContent = tree.xpath('//div[@class="sContent"]')

print('sCat: ', len(sCat))
print('sContent: ', len(sContent))
json_dict={}

for i in  range(0,len(sCat)):
#     print(''.join(i.itertext()))
    sCat_text=(''.join(sCat[i].itertext()))
    sContent_text=(''.join(sContent[i].itertext()))
    json_dict[sCat_text]=sContent_text
print(json_dict)

我得到以下输出

希望对你有帮助

Answer 2

您可以使用xpath 表达式并在要抓取的内容上创建绝对路径

Answer 3

下面是 requests 和 lxml 库的示例：

from lxml import html
import requests

r = requests.get('https://www.mangaupdates.com/series.html?id=75363')
tree = html.fromstring(r.content)

sCat = [i.text_content().strip() for i in tree.xpath('//div[@class="sCat"]')]
sContent = [i.text_content().strip() for i in tree.xpath('//div[@class="sContent"]')]

Answer 4

你用什么刮？ 如果您使用的是 BeautifulSoup？然后，您可以使用带有类标识符的 FindAll 方法搜索页面上的所有内容，并通过该方法进行迭代。您可以使用特殊的“_class”界定符

类似

import bs4
soup = bs4.BeautifulSoup(html.source)
soup.find_all('div', class_='sCat')
# do rest of your logic work here

编辑：在您进行编辑之前，我在手机上的缓存页面上打字。所以没有看到变化。尽管我看到您正在使用原始 lxml 库进行解析。是的，这更快，但我不太熟悉，因为我只为一个项目使用了原始 lxml 库，但我认为您可以将两种搜索方法链接起来以提取等效的东西。