从python中的多级（抓取）复杂结构json文件中提取密钥

Question

我有一个多级/复杂的 json 文件 - twitter.json，我只想从这个 json 文件中提取作者 ID。

这就是我的文件“twitter.json”的外观：

[
[
    {
        "tweets_results": [
            {
                "meta": {
                    "result_count": 0
                }
            }
        ],
        "youtube_link": "www.youtube.com/channel/UCl4GlGXR0ED6AUJU1kRhRzQ"
    }
],
[
    {
        "tweets_results": [
            {
                "data": [
                    {
                        "author_id": "125959599",
                        "created_at": "2021-06-12T15:16:40.000Z",
                        "id": "1403732993269649410",
                        "in_reply_to_user_id": "125959599",
                        "lang": "pt",
                        "public_metrics": {
                            "like_count": 0,
                            "quote_count": 0,
                            "reply_count": 1,
                            "retweet_count": 0
                        },
                        "source": "Twitter for Android",
                        "text": "⌨️ Canais do YouTube:\n\n1 - Alexandre Garcia: Canal de Brasília"
                    },
                    {
                        "author_id": "521827796",
                        "created_at": "2021-06-07T20:23:08.000Z",
                        "id": "1401998177943834626",
                        "in_reply_to_user_id": "623794755",
                        "lang": "und",
                        "public_metrics": {
                            "like_count": 0,
                            "quote_count": 0,
                            "reply_count": 0,
                            "retweet_count": 0
                        },
                        "source": "TweetDeck",
                        "text": "@thelittlecouto"
                    }
                ],
                "meta": {
                    "newest_id": "1426546114115870722",
                    "oldest_id": "1367808835403063298",
                    "result_count": 7
                }
            }
        ],
        "youtube_link": "www.youtube.com/channel/UCm0yTweyAa0PwEIp0l3N_gA"
    }
]
]

我已经阅读了许多类似的 SO 问题（包括但不限于）：

• Access the key of a multilevel JSON file in python
• Multilevel JSON Dictionary - can't extract key into new dictionary
• How to extract a single value from JSON response?
• how to get fields and values from a specific key of json file in python
• How to select specific key/value of an object in json via python
• Python: Getting all values of a specific key from json

但是这些 json 的结构非常简单，当我尝试复制它时，我遇到了错误。

根据我的阅读，contents.tweets_results.data.author_id 是参考的方式。我正在使用contents = json.load(open("twitter.json")) 加载。任何帮助表示赞赏。

编辑：@sammywemmy 和 @balderman 的代码都对我有用。我接受了@sammywemmy，因为我使用了那个代码，但我想以某种方式归功于他们。

Answer 1

你的数据有一个路径，你有一个嵌套在一个列表中的列表，在内部列表中，你有一个 tweets_results 键，它的值是一个字典列表；其中一个有一个data 键，其中包含一个列表/数组，其中包含一个字典，其中一个键是author_id。我们可以将路径（某种）模拟为：'[][].tweets_results[].data[].author_id'

一种重新哈希排序：点击第一个列表，然后是内部列表，然后访问 tweets_results 键，然后访问值列表；在该值列表中，访问data 键，在与data 关联的值列表中，访问author_id：

通过这条路径，可以使用jmespath提取author_ids：

# pip install jmespath
import jmespath
              # similar to re.compile
expression = jmespath.compile('[][].tweets_results[].data[].author_id')
expression.search(data)
['125959599', '521827796']

如果你想从嵌套的 dicts 构建数据结构，jmespath 非常有用；但是，如果您只关心author_id 的值，则可以使用nested_lookup；它递归地搜索键并返回值：

# pip install nested-lookup
from nested_lookup import nested_lookup
nested_lookup('author_id', data)
['125959599', '521827796']

Answer 2

见下文（不涉及外部库）

data = [
[
    {
        "tweets_results": [
            {
                "meta": {
                    "result_count": 0
                }
            }
        ],
        "youtube_link": "www.youtube.com/channel/UCl4GlGXR0ED6AUJU1kRhRzQ"
    }
],
[
    {
        "tweets_results": [
            {
                "data": [
                    {
                        "author_id": "125959599",
                        "created_at": "2021-06-12T15:16:40.000Z",
                        "id": "1403732993269649410",
                        "in_reply_to_user_id": "125959599",
                        "lang": "pt",
                        "public_metrics": {
                            "like_count": 0,
                            "quote_count": 0,
                            "reply_count": 1,
                            "retweet_count": 0
                        },
                        "source": "Twitter for Android",
                        "text": "⌨️ Canais do YouTube:\n\n1 - Alexandre Garcia: Canal de Brasília"
                    },
                    {
                        "author_id": "521827796",
                        "created_at": "2021-06-07T20:23:08.000Z",
                        "id": "1401998177943834626",
                        "in_reply_to_user_id": "623794755",
                        "lang": "und",
                        "public_metrics": {
                            "like_count": 0,
                            "quote_count": 0,
                            "reply_count": 0,
                            "retweet_count": 0
                        },
                        "source": "TweetDeck",
                        "text": "@thelittlecouto"
                    }
                ],
                "meta": {
                    "newest_id": "1426546114115870722",
                    "oldest_id": "1367808835403063298",
                    "result_count": 7
                }
            }
        ],
        "youtube_link": "www.youtube.com/channel/UCm0yTweyAa0PwEIp0l3N_gA"
    }
]
]

ids = []
for entry in data:
  for sub in entry:
   result = sub['tweets_results']
   if result[0].get('data'):
    info = result[0]['data']
    for item in info:
      ids.append(item.get('author_id','not_found'))
print(ids)

输出

['125959599', '521827796']