我不能用python爬行[关闭]答案

【问题标题】：I cannot crawling with python [closed]我不能用python爬行[关闭]
【发布时间】：2019-04-04 13:59:28
【问题描述】：

我要爬取tag:p, class:txt 但我不能

weblink=https://school.iamservice.net/organization/18193/group/2079351

----代码------------------ -------------------------------------------------- -------------

import bs4, urllib.request

url="https://school.iamservice.net/organization/18193/group/2079351"


html=urllib.request.urlopen(url)

bsObj=bs4.BeautifulSoup(html,"html.parser")



txt=bsObj.findAll("p",{"class":"txt"})


print(txt)

【问题讨论】：

那么当你运行这段代码时会发生什么？您看到的结果与预期的结果如何？
第一次尝试美丽的汤时，我遇到了同样的麻烦。正如Kundu的回答，并非所有网站都准备好html，许多网站在加载后使用JS进行渲染（渲染步骤在您的浏览器上，这就是为什么您可以看到内容，但如果您通过美丽的汤加载，它只是一个骨架。因此，使用 selenium 将链接呈现为 Kundu 的答案。但是 selenium 对于低端计算机和许多 API 来说有点重，所以尝试使用 Splash。最简单的安装方法是使用 docker 容器。https://splash.readthedocs.io /en/stable/install.html#linux-docker

标签： html python-3.x beautifulsoup web-crawler

【解决方案1】：

看起来像JavaScripts 渲染页面。在这种情况下，您可以使用 selenium webdriver 和漂亮的汤。希望这会有所帮助。

from selenium import webdriver
import bs4
import time
url="https://school.iamservice.net/organization/18193/group/2079351"
driver = webdriver.Chrome()
driver.get(url)
time.sleep(4)
html=driver.page_source

bsObj=bs4.BeautifulSoup(html,"html.parser")

txt=bsObj.findAll("p",{"class":"txt"})

for t in txt:
    print(t.text)

输出：

찹쌀밥조갯살순두부찌개5.6.9.13.배추된장무침5.6.깍두기9.13.바나나닭볶음탕5.6.13.15.18.
찹쌀밥시금치된장국5.6.13.우엉땅콩조림4.5.6.13.돼지고기김치찜9.10.13.깍두기9.13.방울토마토12.
찰현미밥호박감자된장국5.6.13.깐쇼새우1.5.6.9.12.13.깍두기9.13.연두부+양념장5.6.13.콘치즈구이1.2.5.13.
보리밥감자국13.돼지갈비찜10.13.김구이13.배추김치9.13.파인애플
찹쌀밥오징어짬뽕국5.6.단무지탕수육1.2.5.6.10.11.12.13.배추김치9.13.자몽푸딩1.5.13.
찹쌀밥양상추샐러드&키위D(고)1.5.6.12.13.갈릭함박스테이크,소스(완,고)1.2.5.6.10.12.13.배추김치9.13.호상요구르트(포도)2.크림스프2.5.6.13.
찰현미밥콩나물국5.13.시금치나물떡갈비볶음2.5.6.10.13.깍두기9.13.청포도
미니햄버거1.2.5.6.10.12.13.바나나자두쥬스2.초코씨리얼+우유2.5.6.13.
찹쌀밥근대된장국5.6.13.무생채13.파닭5.6.12.13.배추김치9.13.
차조밥참나물무침5.6.돼지고기김치볶음9.10.13.감자크로켓1.2.5.6.10.12.13.깍두기9.13.쇠고기미역국5.6.16.18.
찹쌀밥도라지오이생채5.6.13.고등어구이2.5.6.7.13.총각김치9.13.망고쥬스유부김치국5.9.13.
생선커틀렛1.2.5.6.13.포도(캠벨)식혜단호박스프2.5.6.13.모닝빵1.2.5.6.13.
치킨마요덮밥1.5.6.13.감자국13.치커리사과샐러드5.6.13.총각김치9.13.방울토마토12.
찹쌀밥청국장찌개5.9.10.13.깻잎찜5.6.돼지불고기5.6.10.13.총각김치9.13.
검정콩밥5.조랭이떡국1.5.6.13.메추리알돈육장조림1.5.6.10.13.청포묵김무침5.6.13.배추김치9.13.짜먹는 요구르트2.
찹쌀밥북어콩나물국1.5.6.13.배추된장무침5.6.닭갈비5.6.13.깍두기9.13.바나나
찹쌀밥콩비지찌개5.9.10.13.취나물볶음5.6.13.순대채소볶음5.6.10.13.깍두기9.13.
찹쌀밥어묵무국1.5.6.13.잡채5.6.8.10.13.16.오징어바튀김1.5.6.12.13.배추김치9.13.
웨지감자2.12.13.오렌지프렌치토스트1.2.5.6.10.12.13.아몬드씨리얼+우유2.5.6.13.
혼합곡밥5.열무된장국5.6.13.훈제오리1.5.13.부추겉절이13.배추김치9.13.쌈무

【讨论】：