【发布时间】:2018-12-14 11:11:57
【问题描述】:
我正在尝试读取包含许多推文的 json,但出现以下错误。
OverflowError: int 太大而无法转换
脚本过滤多个 json 文件以获取特定的推文,并在到达特定 json 时崩溃。
产生错误的行是这一行:
df_temp = pd.read_json(path_or_buf=json_path, lines=True)
【问题讨论】:
-
json.loads('{"id":73115419563449548887439843987598743985743234857632498756324987563248756238987432659874365987324655}')适合我。请提供minimal reproducible example。 -
你能给我们一个minimal reproducible example吗?因为据我所知,在默认设置下,最近的 Python(至少从 2.7 和 3.3 开始,可能更早)会将
731154195634495488加载为int,而不是float。 -
确实如此。很可能 id 与错误无关。本质上,我的脚本过滤了多个 json 文件以获取特定的推文,当到达特定的 json 时它会崩溃。创建错误的行是这一行:
df_temp = pd.read_json(path_or_buf=json_path, lines=True, dtype={"id_str": np.float64} -
你能给我们提供导致错误的示例 JSON 吗?
-
当然。你可以下载它here
标签: python json python-3.x twitter tweets