使用不需要的引号清理数据

Question

我有一个 csv 文件，其中包含客户编号、地址和保费。它是从另一个系统导出的，因此字段带有引号。在 R 中导入时，由于字符串中包含不需要的引号和逗号，我遇到了一个问题。查看示例（客户端 1 和 2 正确，客户端 3 有问题）

Client number Address                               Premium
"1"            "Building5, Street 30,NY"              1000
"2"           "Building7, Street 10,NY"               1000
"3"           "Building 7\", Street 10,NY"            1000

因此，R 将其读取为我不想要的新的第 4 列。我如何以编程方式摆脱它。我可以使用基于 R 或 Python 的解决方案来清理 csv 。如果纠正问题很困难，即使删除客户端 3 也是可以接受的解决方案

尝试在 python 中这样做，但没有帮助

import csv

def remove_special_prob(s):
return ''.join(c for c in s if c not in ('\"'))


with open("Client.csv","rb") as infile, open("Client_new.csv","wb") as outfile:
reader = csv.reader(infile)
writer = csv.writer(outfile, quoting=csv.QUOTE_ALL)
for line in reader:
    writer.writerow([remove_special_prob(elem) for elem in line])

Answer 1

如果它在实际的 csv 中，则使用 return s.replace('\"', '')。

您的代码不起作用，因为您正在迭代每个字母，然后将其比较两个字母，即 \" 在一起。基本上，您的c 在迭代过程中将首先变为\，然后变为"，但永远不会等于\"。

编辑

用于替换 -

def remove_special_prob(s):
    return s.replace('\"', '')

用于跳过特殊问题行

with open("Client.csv","rb") as infile, open("Client_new.csv","wb") as outfile:
    reader = csv.reader(infile)
    writer = csv.writer(outfile, quoting=csv.QUOTE_ALL)
    for line in reader:
         if line.count('"') > 6:
             continue
         writer.writerow(line)

Answer 2

在 Python 中，您可以使用 pandas 的 read_csv，它非常通用

import pandas as pd
from io import StringIO

text = StringIO("""Client number\tAddress\tPremium
"1"\t"Building5, Street 30,NY"\t1000
"2"\t"Building7, Street 10,NY"\t1000
"3"\t"Building 7\", Street 10,NY"\t1000""")

df = pd.read_csv(text, sep='\t')
df['Address'] = df['Address'].str.replace('"', '')
# df.to_clipboard()

结果

    Client number   Address Premium
0   1   Building5, Street 30,NY 1000
1   2   Building7, Street 10,NY 1000
2   3   Building 7, Street 10,NY    1000

Answer 3

在R中，可以使用readLines读取文件，去掉字符串\"，转换成数据框：

txt <- readLines("client.csv")
df <- read.csv(text=gsub('\\\\\"', "", txt))