Beautiful Soup 4 和 Python 的解析错误

Question

我需要从这个网站获取房间列表：http://www.studentroom.ch/en/dynasite.cfm?dsmid=106547

我正在使用 Beautiful Soup 4 来解析页面。 这是我写到现在的代码：

from bs4 import BeautifulSoup
import urllib

pageFile = urllib.urlopen("http://studentroom.ch/dynasite.cfm?dsmid=106547")
pageHtml = pageFile.read()
pageFile.close()

soup = BeautifulSoup("".join(pageHtml))

roomsNoFilter = soup.find('div', {"id": "ImmoListe"})

rooms = roomsNoFilter.table.find_all('tr', recursive=False)

for room in rooms:
    print room
    print "----------------"

print len(rooms)

现在我试图只获取表格的行。 但我只得到 7 行而不是 78 行（或 77 行）。

起初我很难接受我只收到部分 html，但我打印了整个 html 并且我正确接收它。 页面加载后没有加载新行的 ajax 调用...

有人可以帮我找出错误吗？

Answer 1

这对我有用

soup = BeautifulSoup(pageHtml)
div = soup.select('#ImmoListe')[0]
table = div.select('table > tbody')[0]
k = 0
for room in table.find_all('tr'):
    if 'onmouseout' in str(room):
        print room
        k = k + 1
print "Total ",k

让我知道状态