将带有多个 json 对象的推文 json 文件加载到 pandas 数据框中

Question

我有一个 JSON 文件 (tweetObject.json)，其中包括大约 600 行，其中每行是来自 Twitter API 的响应，其中包含大约 100 条推文及其元数据。

我的问题：

1. 如何从我的 JSON 文件中提取特定的推文属性，例如 username？ （我正在考虑将 JSON 加载到 pandas 数据框中，其中每列仅存储一个属性/字段，然后选择我需要的特定属性。但我也愿意接受任何其他解决方案。
2. 如何将 JSON 文件加载到 pandas 数据框中？我使用了json.load，但我得到了JSONDecodeError: Extra data: line 2 column 1 (char 173419)。经过一番研究，我发现这个错误的原因可能是因为json.load没有解码多个JSON对象。
3. 我还有一个扁平化的 JSON 文件版本，每行保留 1 条推文。我也用这个文件尝试了json.load，但仍然得到同样的错误。

这是我加载 json 的代码：

with open('tweetObject_v2.json') as json_file:
    data_list = json.load(json_file)   

抱歉，我没有写推文对象 JSON 的示例，因为这个文件的一行太长了。但您可以在此处找到示例 Twitter API (v2) 响应：https://developer.twitter.com/en/docs/twitter-api/data-dictionary/example-payloads

Answer 1

好吧，我终于想通了。希望它可以帮助其他有类似问题的人

回答问题2：如何将一个带有多个json对象的json文件加载到pandas dataframe中？

由于json.loads 不解码多个 JSON 对象，我循环遍历行并逐行加载，并将结果存储在数组中。接下来，我将数组转换为 pandas 数据框：

tweets = []
for line in open('tweetsFlatten.json', 'r'):
     tweets.append(json.loads(line))

df1 = pd.DataFrame(tweets)

检查 df1 的列，我发现有些列包含数组或对象（即每个属性没有单独的列）。例如，author 列保存了作者对象，其中包括 id（用户 id）、用户名等。

回答问题 1：如何在推文 JSON 文件中提取/访问特定推文属性？

为了能够访问特定属性（例如，username），我使用了json_normalize：

df_new = json_normalize(tweets)  
df_new.columns  
#df_new is a new df where each arrtibute has a separate column. 
#For example, instead of an `author` column which kept various attributes (id, username, etc.), the new dataframe has separate columns for each of them (e.g., `author.id`, `author.username`, etc.

df_new['author.username'].head() 

注意事项：

• 我使用的是 Twitter API V2，因此响应 JSON 文件位于 version 2 format。
• 我使用了 json 文件的扁平化版本，因为我发现它更易于使用（例如，访问特定属性）

Answer 2

如果你可以读取扁平文件的每一行然后加载到json中，你可以这样做：

data = example line above in your questions
dataj = json.loads(data)
dataj['author']['username']

输出

'Megresistor'

如果您能够构建一个数据框，并且该数据框有用户列（应该是一个字典），您可以使用它来提取屏幕名称

df.user.str.get('screen_name')

这将获得用户提及的第一个屏幕名称。用户提及是一个列表，因此这是列表的第一个元素。当有一个列表时，获取所有内容会有点复杂，但至少您可以了解如何导航数据框。

df.entities.str.get('user_mentions').str[0].str.get('screen_name')