在 python 中读取德语 csv 文件的问题

Question

我有一个德语 csv 文件，我想用pd.read_csv 阅读它。

数据：

原始文件如下所示：

所以它有两列（A，B），分隔符应该是';'，

问题： 当我运行命令时：

dataset = pd.read_csv('C:/Users/.../GermanNews/articles.csv',
                      encoding='utf-8', header=None, sep=';')

我得到错误： ParserError: Error tokenizing data. C error: Expected 2 fields in line 3, saw 3

半解： 我知道这可能有几个原因，但是当我运行命令时：

dataset = pd.read_csv('C:/Users/.../GermanNews/articles.csv',
                      encoding='utf-8', header=None, sep='delimiter')

我得到以下数据集：

    0
0   Etat;Die ARD-Tochter Degeto hat sich verpflich...
1   Etat;App sei nicht so angenommen worden wie ge...
2   Etat;'Zum Welttag der Suizidprävention ist es ...
3   Etat;Mitarbeiter überreichten Eigentümervertre...
4   Etat;Service: Jobwechsel in der Kommunikations...

所以我只得到一列而不是两列，

目标： 知道如何正确加载我拥有的数据集：

    0       1
0   Etat    Die ARD-Tochter Degeto hat sich verpflich...
1   Etat    App sei nicht so angenommen worden wie ge...

提示/尝试：

当我在 excel 中对我的数据运行搜索功能时，我也没有在其中找到任何 ;。

似乎有些行有两列以上（例如，您可以在我的示例的第 3 行和第 13 行中看到

Answer 1

仔细浏览您的文本。如果您没有找到任何线索，请按照以下解决方案进行操作。

---

注意：这不是一个完美的解决方案，而是一个 hack，并且在我使用德语文本时多次为我工作，因为我没有找到其他解决方案。

我只是这样阅读整个内容，并通过在第一次出现分隔符时将字符串拆分为两个所需的列。

df['col1'] = df[0].str.split(';', 1).str[0]
df['col2'] = df[0].str.split(';', 1).str[1]

输出：

                            0    col1                   col2
0        Etat;Die ARD-Tochter..  Etat        Die ARD-Tochter
1         Etat;App sei nicht...  Etat          App sei nicht 
2  Etat;Mitarbeiter überreich..  Etat  Mitarbeiter überreich

我只是修剪了文本以演示示例。

Answer 2

一种可能的解决方案是创建一列DataFrame，其分隔符不在delimiter 之类的数据中，然后将Series.str.split 与n 参数和expand=True 用于新的DataFrame：

dataset = pd.read_csv('C:/Users/.../GermanNews/articles.csv',
                       encoding='utf-8', header=None, sep='delimiter')

#more general solution is use some value NOT exist in data like yen ¥
#dataset = pd.read_csv('C:/Users/.../GermanNews/articles.csv',
#                      encoding='utf-8', header=None, sep='¥')

df = dataset[0].str.split(';', n=1, expand=True)
df.columns = ['A','B']
print (df)

Answer 3

这对我有用：

import pandas as pd
df = pd.read_csv('german.txt', sep=';', header = None, encoding='iso-8859-1')
df

输出：

       0    1
0   Etat    Die ARD-Tochter Degeto hat sich verpflich...
1   Etat    App sei nicht so angenommen worden wie ge...
2   Etat    'Zum Welttag der Suizidprävention ist es ...
3   Etat    Mitarbeiter überreichten Eigentümervertre...
4   Etat    Service: Jobwechsel in der Kommunikations...