使用 python beautiful soup 或 html 模块的电子邮件刮板

Question

目前，我正在尝试从我的房地产经纪人那里从她发送给我的列表中收集数据。它总是来自主站点“http://v3.torontomls.net”的链接，我认为只有房地产经纪人才能进入该站点并过滤房屋，但是当她将其发送给我时，我可以看到房屋列表。

我想知道是否可以创建一个 python 脚本:)

1) 打开 Gmail 2）过滤她的电子邮件 3) 打开她的一封电子邮件 4) 点击链接 5) 将房屋数据刮成CSV格式

我不确定这是否可行，我从来没有使用过python来抓取网页。我可以看到第 5 步是可行的，但是如何进行第 1 步到第 4 步呢？

Answer 1

是的，这是可能的，但您需要事先收集一些需求以确定可以消除流程的哪些部分。例如，如果您的房地产经纪人每次都向您发送相同的链接，您可以直接定位该网址。例如，如果链接发生变化但按月份进行参数化，则您可以在每个月处理结果时调整网址。

为了提出请求，我建议使用 requests 包和 bs4 (BeautifulSoup 4) 来定位元素。要创建 CSV 文件，您可以选择使用 csv，但如果您需要更具体的用例，还有很多替代方法。