HTML解析器到csv，输出文件夹中没有结果

Question

我使用 BeautifulSoup 抓取网站以保存到 csv。当我打开 csv 时，只有标题、标题，没有数据（我抓取的链接）。

我已经尝试过“lxml”，所以我切换到了 html.parser。

from bs4 import BeautifulSoup  
import requests
import csv

page = requests.get('https://www.census.gov/programs-surveys/popest.html')
raw_html = page.text    # declare the raw_html var

soup = BeautifulSoup(raw_html, 'html.parser')  # parse the html

T = [["US Census Bureau Links"]] #Title
I = page.text

for link in soup.find_all('a', href=True):
    print(link['href'])

with open("US_Census_Bureau_links.csv","w",newline="") as f:    
    cw=csv.writer(f)                          
    cw.writerows(T)                             
    cw.writerows(I)                             

f.close()                                      

当我运行它时，我得到了 8 页的完整链接。但输出 csv 中没有链接。

Answer 1

你写入你的 csv 文件

cw.writerows(T)

但是

T = [["US Census Bureau Links"]] #Title

当你声明它时它是空的，当你写它时它保持空，因为你没有附加任何链接。因此，将您的 for 循环更改为： [根据@vladwoguer 下面的评论编辑}

for link in soup.find_all('a', href=True):
     T.append([link['href']])

它应该可以工作。

Answer 2

您可以提取指向集合的链接，然后将其记录在文件中：

from bs4 import BeautifulSoup  
import requests
import csv

page = requests.get('https://www.census.gov/programs-surveys/popest.html')
raw_html = page.text    # declare the raw_html var

soup = BeautifulSoup(raw_html, 'html.parser')  # parse the html

T = [["US Census Bureau Links"]] #Title

links = map(lambda link: link['href'], soup.find_all('a', href=True)) # links

with open("US_Census_Bureau_links.csv","w",newline="") as f:    
    cw=csv.writer(f, quoting=csv.QUOTE_ALL)                          
    cw.writerows(T)                             
    cw.writerow(links)                         

f.close()                                      

如果您希望每行有一个链接：

with open("US_Census_Bureau_links.csv","w",newline="") as f:    
    cw=csv.writer(f, quoting=csv.QUOTE_ALL)                          
    cw.writerows(T)
    for link in links:                      
      cw.writerow([link])