【发布时间】：2023-04-04 01:04:01
【问题描述】：
当我使用通用行模式 ("rU") cdv.reader 读取 csv 文件时，它会在 csv.writer 中生成 \r \n 作为新行。你知道如何忽略 csv.writer 中的新行吗？我必须在阅读器中使用 ("rU")，因为我的文件包含换行符。
这是我使用的代码
import csv
dict={}
with open('training_data.csv','rU') as f:
reader = csv.reader(f,skipinitialspace=True)
for line in reader:
try:
dict[line[2]].append(line[3])
except:
dict[line[2]]=[line[3]]
with open('training_result.csv','w') as f:
writer = csv.writer(f, delimiter='|',dialect='excel-tab')
for key in dict:
writer.writerow([key,','.join(dict[key])])
输入是这样的
username, some of tweet that
want to be processed
by machine , label
因为这是换行和通用行模式激活，当我捕获数据并想用 csv writer 写入时，它会是一样的
我想要的输出是这样的
username, some of tweet that want to be processed by machine , label
我应该删除 csv 文件中的所有换行符吗？但它太大了，csv 大约 150MB，包含 70 万行。有什么办法吗？
我已经使用了诸如skipinitialspace和方言之类的阅读器属性，但仍然无法解决问题
【问题讨论】：
-
你总是想将第 2 行追加到第 3 行吗？
-
似乎不是有效的 csv 文件。你能分享一张csv文件的照片吗？因此，如果是这种情况，您可以尝试通过在解析中使用一些相同的值来识别和强制行。
-
@BhargavRao 是的，因为我想根据标签或用户名连接推文内容（第二列）。该功能是为同一用户名捕获许多推文。例如，用户名 A 有超过 2 条推文。然后我连接所有 A 推文以在第二列中实现“词袋”分析。就是这个想法：/
-
@LalithJayasinghe 是的，尽管如此。我使用 'mongoexport -d aipd -c ntb_datasift --csv -f "twitter.place.full_name","twitter.user.location","interaction.author 从 MongoDB 导出 csv 文件（它是 MongoDB 中的 json 文件）。用户名","interaction.content","interaction.created_at","interaction.id" -o december_16_ntb_training_data.csv'
-
@LalithJayasinghe 这是 csv 中的示例行 #header twitter.place.full_name,twitter.user.location,interaction.author.username,interaction.content,interaction.created_at #row_content "Mataram, Kota Mataram",Mataram Nusa Tenggara Barat ,adliahpartang,"Arti sahabat adalah orang yang selalu ada atau selalu menemani hari-hari kita baik itu dalam keadaanäó t.co/nIoZIlJPeh","Sat, 2014 年 5 月 24 日 06:39:09 +0000 "