从 Twitch 抓取数据

Question

我正在尝试找出 Twitch 上每场比赛有多少粉丝。不幸的是，Twitch API 不提供此信息。当我去任何游戏（如Mortal Kombat 11）时，我可以看到“115,175 位关注者·199,041 位观众”。但是，当我转到“查看源代码”时，此信息不存在。我曾尝试使用 phantomjs 打开该站点，但到目前为止，我还无法弄清楚如何渲染该部分。

如何在 Twitch 上获取给定游戏的关注者和观看者数量？

（首选 R 中的解决方案，但不是强制性的）

Answer 1

几个月前我使用axios 和cheerio 创建了一个网络scraper。

您可以通过 axios 使用 get 请求获取整个 HTML 页面，然后使用cheerio 开始寻找您想要的信息，在这种情况下是关注者，cheerio 就像一个服务器端 jquery。

一个小例子：

import axios from 'axios';
import cheerio from 'cheerio';
import _ from 'lodash';

async function getStats () {
  const html = await axios.get('http://www.espn.com/nba/team/_/name/ny');
  const $ = cheerio.load(html.data);
  const wonLooseRatio = $('.ClubhouseHeader__Record').children().first().text().trim();
  
  console.log(wonLooseRatio); // 17-65
}

图片说明了抓取中的信息。

另外，请记住，某些网站认为网络抓取是非法的或违反其政策的，请确保您阅读 twitch 条款和条件，上面的示例仅用于教育目的。

希望对你有帮助。