将 urllib.urlopen 结果传递给 json.load 时出错

Question

我是 python 新手，但想使用 urllib 下载推文，我正在按照教程说明进行操作，但每次都会遇到相同的错误，我打印：

import urllib
import json
response = urllib.urlopen("https://twitter.com/search?q=Microsoft&src=tyah")
print json.load(response)

但每次我得到错误：

Traceback (most recent call last):
  File "C:\Python27\print.py", line 4, in <module>
    print json.load(response)
  File "C:\Python27\Lib\json\__init__.py", line 278, in load
    **kw)
  File "C:\Python27\Lib\json\__init__.py", line 326, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\Lib\json\decoder.py", line 366, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Python27\Lib\json\decoder.py", line 384, in raw_decode
    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

Answer 1

如 cmets 所述，答案是：您的代码本身没有问题。

问题是当json.load 查看response 时，它没有在其中找到 JSON - 它正在寻找 HTML。

您需要将包含 JSON 的类似文件的对象传递给 json.load 函数，否则会引发您在此处看到的异常。

要从 Twitter 获取 JSON，您需要调用一个提供 JSON 响应的 URL。我现在可以告诉您，没有一个 Web 界面 URL 直接执行此操作。您应该使用 Twitter API。

但是，纯粹为了演示，如果你在你现在调用的 URL 处解构页面，你会发现为了加载推文数据，页面会发出以下请求：

https://twitter.com/i/search/timeline?q=Microsoft&src=tyah&composed_count=0&include_available_features=1&include_entities=1

并且此 URL 确实返回 JSON 作为响应，这与您当前的代码配合得很好。

当然，我很确定这样做违反了某种 Twitter TOS，因此如果你这样做，则需要考虑各种潜在的负面影响。另外，这不是很好的体育精神。 :)