在 python 中使用格式笨拙的 JSON 抓取页面

Question

我正在抓取网页中的数据，其格式如下：

<!-- Web header up here -->
[{"foo": "Bar", "foo2": "Bar2"},
 {"foo3": ["hello", "world"], "foo4": "Bar4"},
...
]
<!-- Web footer here -->

问题是 JSON 与其他内容一起出现在页面上，并且页面源在引号内有 JSON 列表，在 JSON 中带有其他 html 标记的“pre”标记内，如下所示：

<pre>" [{ "foo": "Bar", <p>"foo2": "Bar2"</p>}, ... ] "</pre>

有没有办法绕过这种糟糕的格式并在给定 JSON 对象字符串列表的情况下获取 JSON 对象列表，最好摆脱过程中的嵌入标签？

编辑：我现在已经按照 Mauricio 的建议安装并开始学习 BeautifulSoup4，但我仍然有些不足。在“汤”上使用 .pre 运算符给了我

<pre> [{ ... (Good formatted JSON but inside tags still) ...}]</pre>

HTML:（<pre> 代码只是在其上方和下方有一些标题。）

<pre>
[{
  "title": “blah”,
  "refs": [“a”, “a”],
  "description": [“a”,
  “a”,
  "a”],
  “a”: [
    {“a”: “a"}]
},
{
  "title": “a”,
  "refs": [“a”, “a”],
  "description": [“a”,
  “a”,
  “a”],
  “a”: [
    {“a”: “a”}]
}]
</pre>

Answer 1

您需要获取 .text 和 strip() 引号和空格。

然后，你可以使用json.loads()来加载json字符串：

import json
from bs4 import BeautifulSoup


data = """
<div>
    <pre>" [{ "foo": "Bar", <p>"foo2": "Bar2"</p>}] "</pre>
</div>
"""

soup = BeautifulSoup(data)

json_data = soup.pre.text.strip('" ')
print json.loads(json_data)

打印：

[{u'foo': u'Bar', u'foo2': u'Bar2'}]

---

还有一个问题——pre里面的引号不正常，应该替换掉：

# -*- coding: utf-8 -*-

import json
from bs4 import BeautifulSoup


data = u"""
<div>
    <pre>
[{
  "title": “blah”,
  "refs": [“a”, “a”],
  "description": [“a”,
  “a”,
  "a”],
  “a”: [
    {“a”: “a"}]
},
{
  "title": “a”,
  "refs": [“a”, “a”],
  "description": [“a”,
  “a”,
  “a”],
  “a”: [
    {“a”: “a”}]
}]
</pre>
</div>
"""

soup = BeautifulSoup(data)

json_data = soup.pre.text.encode('utf-8').strip('" ').replace('“', '"').replace('”', '"')
print json.loads(json_data)

打印：

[{u'a': [{u'a': u'a'}], u'refs': [u'a', u'a'], u'description': [u'a', u'a', u'a'], u'title': u'blah'}, 
 {u'a': [{u'a': u'a'}], u'refs': [u'a', u'a'], u'description': [u'a', u'a', u'a'], u'title': u'a'}]

Answer 2

我推荐你使用 BeautifulSoup 来解析网页。

http://www.crummy.com/software/BeautifulSoup/

文档：

http://www.crummy.com/software/BeautifulSoup/bs4/doc/

然后你可以这样做：

from bs4 import BeautifulSoup
from urllib2 import urlopen

html_doc = urlopen("http://www.google.com/").read()
soup = BeautifulSoup(html_doc)
print soup.p.text

它将从P下面的每个标签中提取文本，包括P本身。