解析从 API 检索到的复杂 Json

Question

我正在尝试学习有关从 API 解析复杂 JSON 数据的教程。不幸的是，我遇到了麻烦，我相信这个问题可能与 API JSON 数据的不同结构有关，但我不能 100% 确定。这是我的代码的起点，它似乎工作正常。

import requests
import pandas as pd
import json
import pprint
import seaborn as sns
import matplotlib.pyplot as plt

base_url="https://data.sec.gov/api/xbrl/companyfacts/CIK0001627475.json"
headers={'User-Agent': 'Microsoft Edge My Header data'}
first_response=requests.get(base_url,headers=headers)
response_list=first_response.json()
print(response_list) 

我遇到麻烦的地方是我去解析和创建一个 PD DataFrame，如下所示；

data=[]
for respone in response_list:
    data.append({"cik":response.get('cik'),"entityName":response.get('entityName')}
base_df=pd.DataFrame(data)
base_df.head()

即使我很确定我已经直接按照教程进行操作（使用不同的 API 数据），但我收到以下错误；

File "<ipython-input-34-8206debe28ba>", line 4
    my_df=pd.DataFrame(data)
    ^
SyntaxError: invalid syntax

我很想了解这里的错误以及如何了解我需要发送的请求类型以分解如此复杂的 JSON 数据集并从 FACTS、DEI、US-GAAP 的子部分检索相关列等等

Answer 1

有一个SyntaxError，因为您忘记了上一行末尾的 ')'：

data.append({"cik":response.get('cik'),
             "entityName":response.get('entityName')})  # <- HERE ')'

但是现在，您的代码将引发AttributeError。您不需要遍历response_list，因为实际上它不是列表而是字典：

>>> type(response_list)
dict

因此，您的代码可能很简单：

base_df = pd.DataFrame(response_list)

>>> base_df
             cik   entityName                                              facts
dei      1627475  UPWORK INC.  {'EntityCommonStockSharesOutstanding': {'label...
us-gaap  1627475  UPWORK INC.  {'AccountsPayableCurrent': {'label': 'Accounts...