【发布时间】:2020-08-22 22:34:41
【问题描述】:
我正在做一个项目,我需要从不同的 URL 导入大约 200 个 BIG 列表。每个大约需要 3 秒,我等不及程序完成。但是网站中只有两个我需要的对象,所以我想知道是否有一种方法可以只导入这两个对象,而不是从每个 URL 导入整个 JSON。
【问题讨论】:
我正在做一个项目,我需要从不同的 URL 导入大约 200 个 BIG 列表。每个大约需要 3 秒,我等不及程序完成。但是网站中只有两个我需要的对象,所以我想知道是否有一种方法可以只导入这两个对象,而不是从每个 URL 导入整个 JSON。
【问题讨论】:
首先,是下载需要时间的文档,还是在拥有它们后用 Python 解析它们?更好的测量。如果要下载,除非源 API 提供一种仅请求部分文档的方法,否则您无能为力。
如果解析是瓶颈,您仍然必须解析(没有解析就无法在 JSON 文档的一部分上归零),但您可以尝试仅使用非 Python 解析器来完成该部分任务,比如通过子进程调用命令行jq。
【讨论】: