通过中国防火墙重定向 twitter 页面

Question

我的弟弟仍然住在中国，他是迈克尔菲尔普斯的粉丝。他想看看他的推特帖子。因为他们无法访问 GFW 背后的推特，所以设置 VPN 对我妈妈来说太难了。我想写一些能抓住推特并将它们发送到我妈妈的电子邮件的东西。

我使用 python 作为我的主要语言。熟悉tweepy/request/scrapy

我已经尝试或考虑过三种方法：

1. 使用 twitter API 并获取 user_timeline。但是，这种方法会丢失所有的图形数据，并抛出一堆无用的链接，这些链接只有在正确渲染后才可见

2. 进行网页抓取并保存 html 内容。然后将 html 文件作为附件发送。但是，这种方法仍然会丢失一些图形内容，并且对于 40 多岁的人来说不是那么用户友好。此外，很难说我已经抓取了多少推文以及是否有任何更新。

3. 将 html 内容包装在电子邮件中，并在电子邮件中使用 html 呈现。我以前没有处理过这个，所以我不确定它会如何工作。

我知道“什么是最好的方法来做到这一点”这种问题总是在 SO 上被否决，但我确实相信这个问题足够特殊，足以进行有意义的问答。任何建议将不胜感激。

Answer 1

您是否考虑过使用 selenium 并截取浏览器窗口的屏幕截图？使用 selenium 截屏就像

browser.get('twitter.com')
browser.get_screenshot_as_file('twitter_screenshot.png')

您必须想办法自动监视新推文并在找到新推文时运行 selenium 脚本。然而，就保留图形内容而言，使用 Selenium 截取屏幕截图将很容易实现。

文档：http://selenium-python.readthedocs.io/api.html#selenium.webdriver.remote.webdriver.WebDriver.get_screenshot_as_file