使用转义字符读取 csv

Question

我有一个 csv 文件，其中包含一些文本等。我想标记（拆分为单词列表）此文本，但在 pd.read_csv 如何解释转义字符时遇到问题。

我的 csv 文件如下所示：

text, number
one line\nother line, 12

代码如下：

df = pd.read_csv('test.csv')
word_tokenize(df.iloc[0,0])

输出是：

['one', 'line\\nother', 'line']

而我想要的是：

['one', 'line', 'other', 'line']

问题是pd.read_csv() 没有将\n 解释为换行符，而是解释为两个字符（\ 和n）。

我尝试将escapechar 参数设置为'\' 和'\\'，但两者都只是从字符串中删除斜杠而不对换行符进行任何解释，即字符串变为on one linenon other line。

如果我明确设置df.iloc[0,0] = 'one line\nother line'，word_tokenize 就可以正常工作，因为这次\n 实际上被解释为换行符。

理想情况下，我会简单地更改 pd.read_csv() 解释文件的方式，但其他解决方案也可以。

Answer 1

这个问题措辞有点糟糕。我猜pandas 转义字符串中的\ 会让人困惑nltk.word_tokenize。 pandas.read_csv 只能使用一个分隔符（或正则表达式，但我怀疑你是否想要那个），因此它将始终将文本列读取为 "one line\nother line"，并转义反斜杠以保留它。如果您想进一步解析和格式化它，您可以使用转换器。这是一个例子：

import pandas as pd
import re

df = pd.read_csv(
         "file.csv", converters={"text":lambda s: re.split("\\\\n| ", s)}
)

以上结果为：

                       text   number
0  [one, line, other, line]       12

编辑：如果您需要使用 nltk 进行拆分（比如说拆分取决于语言模型），您需要在传递给 word_tokenize 之前取消转义字符串;试试这样的：

lambda s: word_tokenize(s.encode('utf-8').decode('unicode_escape')

注意：查询中的匹配列表非常棘手，因此您可能希望通过像这样更改 lambda 来将它们转换为元组：

lambda s: tuple(re.split("\\\\n| ", s))

Answer 2

你可以试试这个

import pandas as pd

df = pd.read_csv("test.csv", header=None)
df = df.apply(lambda x: x.str.replace('\\', " "))
print(df.iloc[1, 0])

# output: one line other line 

Answer 3

在你的情况下，只需使用：

data = pd.read_csv('test.csv', sep='\\,', names=['c1', 'c2', 'c3', 'c4'], engine='python')