将抓取的列表对象文本作为列保存到熊猫数据框答案

【问题标题】：Save scraped list object text as column to pandas dataframe将抓取的列表对象文本作为列保存到熊猫数据框
【发布时间】：2021-05-21 18:31:15
【问题描述】：

我想从网页中抓取文本并将其放入 pandas 数据框。如果我能刮一张桌子我没问题，但这里没有桌子，给我带来很多麻烦。

driver = webdriver.Firefox()

driver.get('https://example.com/')
time.sleep(3)

number = driver.find_elements_by_xpath("//span[@class='blaaal']")
name = driver.find_elements_by_xpath("//span[@class='blaaal2']")
for count in number:
    print(count.text)

for names in name:
    print(names.text)

df = pd.DataFrame(columns=['name','number'])

这样我可以打印数据，但如果我使用计数名称定义而不在数据框中循环，我会得到错误列表对象没有文本或类似的东西。

我不知道如何将其放入数据框我想我必须附加才能将 for in 循环定义为列，对吗？我在堆栈上找不到任何帖子或在 Google 上找不到任何其他学习教程。

【问题讨论】：

标签： python pandas dataframe selenium selenium-webdriver

【解决方案1】：

首先为number 和name 创建列表，然后传递给pandas。

number =[count.text for count in driver.find_elements_by_xpath("//span[@class='blaaal']")]
name = [names.text for names in driver.find_elements_by_xpath("//span[@class='blaaal2']")]

df = pd.DataFrame({"name":name,"number":number})

【讨论】：