【问题标题】:Scraping Vine data by python通过 python 抓取 Vine 数据
【发布时间】:2015-03-23 15:18:08
【问题描述】:

我想通过python获取Vine上不同品牌(公众号)的帖子数据(如标题、点赞、分享、内容)。 现在我有一些想法:

  1. github有一个叫做Vinepy的Vine api(https://github.com/davoclavo/vinepy),但是它需要你创建帐户并使用你自己的登录信息,而且你似乎只能从你自己的帐户中抓取数据,所以可以我也使用 Vinepy 从其他帐户抓取数据?因为关于 Vinepy 的例子很少,我不知道该怎么做。

  2. 我想出的另一种选择是使用 beautifulsoup + selenium 来执行此操作。因为 vine 页面中有“加载更多”按钮,您需要使用 selenium 与之交互。但我的问题是beautifulsoup + selenium 可以处理Javascript吗?因为所有帖子都是由名为 ember.js 的 javascript 框架编写的

或者有人对如何做有更好的想法?

非常感谢!

【问题讨论】:

    标签: javascript python selenium web-scraping vine


    【解决方案1】:

    有一个 Vine API 不需要登录即可获取公共数据:

    https://github.com/starlock/vino/wiki/API-Reference

    它不是专门以 Python 为中心的,它只是一个 HTTP GET 来检索一些 JSON。

    【讨论】:

      猜你喜欢
      • 2020-10-06
      • 1970-01-01
      • 2015-04-06
      • 2015-09-24
      • 1970-01-01
      • 2021-05-23
      • 1970-01-01
      • 2017-04-15
      • 1970-01-01
      相关资源
      最近更新 更多