从 API 导入数据并将答案写入 CSV 文件

Question

我正在尝试从 API 导入数据，然后将其导出到 CSV 文件中。 但是这不起作用，我收到以下错误：

expected string or buffer. 

我什至尝试使用json.dumps 而不是json.load，我收到以下错误：

<response 200 is not json serializable. 

示例代码：

import requests
from requests.auth import HTTPBasicAuth
import pandas as pd
import json
import csv


proxies = {
    'http': 'http://dummy.restapiexample.com/api/v1/employees
    'https': 'http://dummy.restapiexample.com/api/v1/employees
}

url = 'http://dummy.restapiexample.com/api/v1/employees' 
r = s.get(url=url, proxies=proxies,  auth=HTTPBasicAuth('user', 'pass'))
employee_parsed = json.loads(r) 
emp_data = employee_parsed['Employee ID']
employ_data = open('"Path" testname.csv', 'w') 
csvwriter = csv.writer(employ_data)
count = 0

for emp in emp_data:
      if count == 0:
             header = emp.keys()
             csvwriter.writerow(header)
             count += 1

      csvwriter.writerow(emp.values())

employ_data.close()

有谁知道如何解决发生的错误？任何提示或任何见解或在哪里看/思考都会受到赞赏。谢谢！

Answer 1

改变这个：

employee_parsed = json.loads(r)

到这里：

employee_parsed = json.load(r)

查看this 答案，其中谈到了json.loads 和json.load 之间的区别。

编辑：

根据@roganjosh，您可以使用内置的 json 解码器，例如：

r = s.get(url=url, proxies=proxies, auth=HTTPBasicAuth('user', 'pass')).json()

查看描述here。

Answer 2

您的示例代码存在多个问题。我已更正代码以读取 api 并将 csv 作为输出提供。

import requests as s
from requests.auth import HTTPBasicAuth
import pandas as pd
import json
import csv

proxies = {
    'http': 'http://dummy.restapiexample.com/api/v1/employees',
    'https': 'http://dummy.restapiexample.com/api/v1/employees'
}

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
url = 'http://dummy.restapiexample.com/api/v1/employees' #get key

r = s.get(url=url, headers=headers)

employee_parsed = r.json();
emp_data = employee_parsed;

employ_data = open('testname.csv', 'w', encoding="utf-8") 

csvwriter = csv.writer(employ_data)

count = 0

for emp in emp_data:

      if count == 0:

             header = emp.keys()

             csvwriter.writerow(header)

             count += 1

      csvwriter.writerow(emp.values())

employ_data.close()

您可以使用 response.json() 直接获取 json 响应，如我的示例所示。如果您想使用 json.loads 解析响应，那么您只需解析响应的内容。这可以按如下方式完成，

employee_parsed = json.loads(r.content) 

主要问题是使用的 API 没有返回正确的响应，除非用户代理被 Python 欺骗。这可以通过插入欺骗标头来解决。

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
url = 'http://dummy.restapiexample.com/api/v1/employees' #get key

r = s.get(url=url, headers=headers)

我在示例中将请求导入为 s 以确保代码执行。

Answer 3

您应该从您的回复中提取文本 employee_parsed = json.loads(r.text) 或者只是employee_parsed = r.json()