如何在 Python 中以正确的顺序将抓取的数据写入数据帧

Question

我有以下 python 程序，它正在抓取网站以获取姓名、公司名称和地址。这工作正常。然后我试图将抓取的数据写入数据框。我希望它们以正确的顺序排列。有时网站没有公司名称，只有名称和地址，如果公司名称不存在，我有什么办法可以指定它采用默认值？因为当我尝试将它写入数据框时，我得到了这个错误：

“ValueError：值的长度与索引的长度不匹配”。

因为不是每个成员都有公司名称。

memeberName = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, '.member-name')))
company = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, '.company-name')))
address = WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, '.list-address-panel')))

mb = []
comp = []
add = []

df = pd.DataFrame(columns = ['MemberName', 'Company', 'Address'])

for getname in memeberName:
        print("Name:" + getname.text) #returns 20 results
        mb.append(getname.text)

for getcompany in company:
        print("CompanyName:" + getcompany.text) #returns 18 results
        comp.append(getcompany.text)

for getaddress in address:
        print("Address:" + getaddress.text) #returns 20 results
        add.append(getaddress.text)

df["MemberName"] = mb
df["Address"] = add
df["Company"] = comp

print(df)

我需要抓取的数据在 div 标签内，而不是在表格中。所以我试图找到一种方法以正确的顺序刮取细节。我需要每个人的姓名、公司和地址。如果公司缺少某些我需要空白、NAN 或 null 它不应该使用不同名称的公司。

Answer 1

以下（使用 itertools.zip_longest）

import itertools
import pandas as pd

mb = ['A','B','C']
comp = ['Z','X']
add = [12]


values = list(itertools.zip_longest(mb, comp, add))
df = pd.DataFrame(values)
print(df)  

输出

0  A     Z  12.0
1  B     X   NaN
2  C  None   NaN