Python pandas drop_duplicates 插入不必要的 " 导致 csv 加载错误答案

【问题标题】：Python pandas drop_duplicates inserts unnecessary " which lead to csv loading errorPython pandas drop_duplicates 插入不必要的 " 导致 csv 加载错误
【发布时间】：2019-12-28 21:51:48
【问题描述】：

在我的项目中，我每隔一天从 Twitter 加载数据并将其附加到 csv 文件中。此过程会导致我的 csv 文件中的推文完全重复。这就是为什么我要删除这些完全相同的重复项。

但是，当我运行以下代码时：

import pandas as pd
data = pd.read_csv("Hashtags.csv", engine="python")

data.drop_duplicates(subset=None, inplace=True)
data.to_csv("Hashtags.csv",index = False)

然后尝试加载 csv 文件我得到以下错误

pandas.errors.ParserError: ',' expected after '"'

在删除重复文件之前，我在加载文件时没有遇到任何问题。似乎 drop_duplicates 函数插入了不必要的 " 符号。有人知道如何解决这个问题吗？

非常感谢您！

【问题讨论】：

如果您在加载 csv 时遇到此错误，那么它应该与 drop_duplicates 无关。删除 drop_dupilcates 行后这仍然有效吗？
试试这个：stackoverflow.com/questions/55010807/…
我认为 ParserError 来自read_csv

标签： python pandas csv drop-duplicates

【解决方案1】：

我不知道为什么它现在有效。但是我更改了有关如何将 pandas Dataframe 保存到 csv.file 的代码，现在它可以工作了。

fname = 'Hashtags'
data.drop_duplicates(subset=None, inplace=True)

with open('%s.csv' % fname, 'w', encoding="utf8") as file:
    data.to_csv(file,index = False)

【讨论】：