从遇到无类型返回的页面中抓取内容

Question

我正在从 http://www.sfma.org.sg/member/info/a-linkz-marketing-pte-ltd 等网站抓取公司资料信息

我想要从公司名称到网站的内容，然后是类别内容。我写了一些代码，但它返回 None 类型错误。

谁能帮忙看看代码，看看哪里出了问题？非常感谢。

import sys
import csv
import urllib
import requests
from bs4 import BeautifulSoup
import time
import datetime
from random import randint 
import numpy as np
import pandas as pd


fi = open('Input_List.csv', 'r')
#readers = list(csv.reader(fi))
readers=csv.reader(fi)
#print(readers)
df = []

for reader in readers:
    #print(str(reader)[1:-1]+"\n")
    url=str(reader)[2:-2]
    request = requests.session()
    htmlpage = requests.get(url)
    #print("status code: "+ str(htmlpage.status_code))
    if htmlpage.status_code != 200 : 
        break    # something went wrong #  
    soup = BeautifulSoup(htmlpage.text,'lxml')
    for result_table in soup.**findall**("div", {"class": "w3-container"}):
        #content=result_table.find('p')
        #print(result_table)
        content=result_table.text

        if(content.find("Website") > -1):
            index=content.find("Website")
            content=content[:content.find("\n",index)]
            #print(content)
            df=np.append(df,content)
            break
        #print(content)
        df=np.append(df,str(content))
        #print(df)
df1 = pd.DataFrame(df)
df1.to_csv("SFMA.csv",index=False,encoding='utf-8')
        # #df.savetxt("SFMA.csv", index=False,encoding='utf-8')
# #df.save("SFMA.csv")
fi.close()

Answer 1

你打错了。 soup.findall("div", {"class": "w3-container"}): 应该是 soup.find_all("div", {"class": "w3-container"}):

BeautifulSoup 中没有findall 方法，因此它不起作用并返回None。

要获取从公司名称到网站的数据，您可以这样做。

for result_table in soup.find_all("div", {"class": "w3-container"}):

    content=result_table.text
    index=content.find("Website")

    if(index > -1):

        content=content[:content.find("\n",index)]
        print(content)
        break