我可以使用 python3 从 https://www.rt.com/ 提取任何页面的评论吗？

Question

我正在编写一个网络爬虫。我提取了这个link 的标题和主要讨论，但我找不到任何评论（Ctrl+u -> Ctrl+f。评论文本）。我认为 cmets 是用 JavaScript 编写的。我可以提取它吗？

Answer 1

是的，如果可以用网络浏览器查看，就可以解压了。

如果您查看源代码，它实际上是一个加载一段 javascript 的 iframe，然后在文档中创建一个新标签，其中该脚本标签的源代码加载 bundle.js，其中确实包含评论软件。然后依次获取实际的 cmets。

您可以考虑使用例如 webkit 创建一个像普通浏览器一样执行 javascript 的无头浏览器，而不是手动执行此操作。然后您可以从中抓取，而不必手动让您的爬虫获取外部资源。

这种无头浏览器的示例可能是 Spynner、Dryscape 或 PhantomJS 派生的 PhantomPy（后者现在似乎是一个废弃的项目）。

Answer 2

RT 正在为 cmets 使用来自 spot.im 的服务

你需要做两个 POST 请求，首先https://api.spot.im/me/network-token/spotim 获取令牌，然后https://api.spot.im/conversation-read/spot/sp_6phY2k0C/post/353493/get 获取 JSON 格式的 cmets。

为此我编写了一个快速脚本

import requests
import re
import json

def get_rt_comments(article_url):
    spotim_spotId = 'sp_6phY2k0C' # spotim id for RT
    post_id = re.search('([0-9]+)', article_url).group(0)

    r1 = requests.post('https://api.spot.im/me/network-token/spotim').json()
    spotim_token = r1['token']

    payload = {
        "count": 25, #number of comments to fetch
        "sort_by":"best",
        "cursor":{"offset":0,"comments_read":0},
        "host_url": article_url,
        "canonical_url": article_url
    }

    r2_url ='https://api.spot.im/conversation-read/spot/' + spotim_spotId + '/post/'+ post_id +'/get'
    r2 = requests.post(r2_url, data=json.dumps(payload), headers={'X-Spotim-Token': spotim_token , "Content-Type": "application/json"})

    return r2.json()

if __name__ == '__main__':
    url = 'https://www.rt.com/usa/353493-clinton-speech-affairs-silence/'
    comments = get_rt_comments(url)
    print(comments)