Python：将pdf转换为csv（多行列）答案

【问题标题】：Python: convert pdf to csv (multi-line column)Python：将pdf转换为csv（多行列）
【发布时间】：2021-04-02 09:16:32
【问题描述】：

我的 CSV 是：

,Élément,État général,Observations
0,ENTRÉE,Etat d'usage,
1,PORTES,Etat d'usage,Chaînette cassé
Serrure du bas en mauvais état le système est
cassé au niveau de la chaînette
2,ENTRÉE / PORTESENTRÉE / PORTES,,
3,Type de porte,,Porte blindée
4,Poignée,,Bon état
5,Couleur,,Bois

但我想要这个：

,Élément,État général,Observations
0,ENTRÉE,Etat d'usage,
1,PORTES,Etat d'usage,Chaînette cassé; Serrure du bas en mauvais état le système ...
2,ENTRÉE / PORTESENTRÉE / PORTES,,
3,Type de porte,,Porte blindée
4,Poignée,,Bon état
5,Couleur,,Bois

我的代码只是将每个页面的一个或多个 pdf 转换为 csv，如下所示：

import os
import io
import shutil
import tabula
import time

start_time = time.time()
path = './'

i=0
j=0

for( directory, subdirectories, file ) in os.walk(path):
    for f in file:
        if f.endswith('.pdf'):
                df = tabula.read_pdf(str(directory) + "/" + str(f), pages='all')
                i=0
                j+=1
                for curr_df in df:
                    i+=1
                    curr_df.to_csv('./' + str(directory) + '-' + str(i) + '.csv')

print("--- convert %d .PDF to %d .CSV in %s seconds ---" % (j, i, time.time() - start_time))

我的问题也是因为我不能逐案处理。我需要能够以相同的方式处理所有 csv

【问题讨论】：

我无法理解 pandas to_csv 如何生成不正确的 csv 文件。多行字段在 CSV 文件中很常见，但它们应该包含在引号中。 Pandas 可以用pd.read_csv 正确读取这些文件吗？目前它看起来像是 Pandas 中的一个错误，这很奇怪......
你好 @SergeBallesta 我没有使用 panda 但 tabula 你认为这是我的错误吗？
tabula read_pdf 通常会返回 Pandas DataFrames 的列表。而to_csv 是pandas DataFrame 的一种方法，通常会产生一个行为良好的文件。要使用 pandas 加载 csv 文件，您可以使用 import pandas as pd df = pd.read_csv('/path/to/file.csv') print(df.info()) print(df) 并报告您得到的结果。
我得到一个错误，我在下面显示。

标签： python csv pdf multiline tabula

【解决方案1】：

您可以打开csv，阅读这些行，然后将不以空开头的字符串（标题）或以数字开头的字符串添加到上一行。然后将这些行写入一个新的csv 文件：

with open('filename.csv') as f:
    text = [line.rstrip() for line in f.readlines()] #remove newline character with rstrip()
    lines = []
    for i in text:
        try:
            if i[0] ==',' or i[0].isnumeric():
                lines.append(i)
            else:
                lines[-1] = lines[-1] + "; " + i
        except:
            continue
            
with open('new_file.csv', mode='wt', encoding='utf-8') as newfile:
    newfile.write('\n'.join(lines)) # reinsert newline characters with '\n'.join()

要处理目录中的所有文件，我们可以将其放在一个函数中，并将目录中的所有文件提供给该函数：

import os as os
import glob as glob

def process_csv(filepath):
    with open(filepath) as f:
        text = [line.rstrip() for line in f.readlines()] #remove newline character with rstrip()
        lines = []
        for i in text:
            try:
                if i[0] ==',' or i[0].isnumeric():
                    lines.append(i)
                else:
                    lines[-1] = lines[-1] + "; " + i
            except:
                continue

    with open(os.path.basename(filepath) + '_fixed.csv', mode='wt', encoding='utf-8') as newfile:
        newfile.write('\n'.join(lines)) # reinsert newline characters with '\n'.join()
        print('fixed: ' + os.path.basename(filepath) + '_fixed.csv')

files = glob.glob('./*.csv') #use glob to create a list of filepath of csv files in a directory

for file in files: # loop through the list and feed each file to the function process_csv
    process_csv(file)

【讨论】：

谢谢，它有效！您是否有处理多个文件的解决方案。例如：打开 (./CSV/*.csv) 并将它们保存在一个文件夹中。抱歉，我是 python 新手。
此外，我刚刚意识到它会创建一个新列，而我希望“Chaînette cassé; Serrure du bas en mauvais état le système ...”位于同一列中。 @RJAdriaansen
好的，我已经更新了答案，展示了如何一次处理整个目录。顺便说一句，它不会创建新列。它将句子部分与; 链接起来，如您所需的输出所示。但是这些列用, 分隔。使用pd.read_csv('filename.csv') 加载pandas 中的文件，亲自查看。
非常感谢@RJAdriaansen，它对我帮助很大。但是我的一些 .csv 文件仍然存在问题，我在上面发布了错误
好的，我在答案中插入了一个try-except 来管理空行。

【解决方案2】：

对于@SergeBallesta，这就是我所拥有的：

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8 entries, 0 to 7
Data columns (total 4 columns):
 #   Column        Non-Null Count  Dtype 
---  ------        --------------  ----- 
 0   Unnamed: 0    8 non-null      object
 1   Élément       6 non-null      object
 2   État général  2 non-null      object
 3   Observations  4 non-null      object
dtypes: object(4)
memory usage: 384.0+ bytes
None
                                      Unnamed: 0                         Élément  État général     Observations
0                                              0                          ENTRÉE  Etat d'usage              NaN
1                                              1                          PORTES  Etat d'usage  Chaînette cassé
2  Serrure du bas en mauvais état le système est                             NaN           NaN              NaN
3                cassé au niveau de la chaînette                             NaN           NaN              NaN
4                                              2  ENTRÉE / PORTESENTRÉE / PORTES           NaN              NaN
5                                              3                   Type de porte           NaN    Porte blindée
6                                              4                         Poignée           NaN         Bon état
7                                              5                         Couleur           NaN             Bois

与

import pandas as pd 

df = pd.read_csv('../CSV/Entire/PDF-1.csv') 
print(df.info()) 
print(df)

【讨论】：

这会尝试使用 Pandas read_csv 加载 PDF 文件。我的意思是加载由...to_csv(...) 生成的 CSV 文件
对不起，我觉得自己很愚蠢......我更正了我的答案。

【解决方案3】：

对于@RJAdriaansen，这是我得到的错误：

fixed: PDF-8.csv_fixed.csv
fixed: PDF-5.csv_fixed.csv
fixed: PDF-7.csv_fixed.csv
fixed: PDF-6.csv_fixed.csv
fixed: PDF-2.csv_fixed.csv
fixed: PDF-10.csv_fixed.csv
fixed: PDF-3.csv_fixed.csv
fixed: PDF-4.csv_fixed.csv
Traceback (most recent call last):
  File "corrCSV_v2.py", line 24, in <module>
    process_csv(file)
  File "corrCSV_v2.py", line 12, in process_csv
    if i[0] ==',' or i[0].isnumeric():
IndexError: string index out of range

错误来自这个.csv

,Élément,État général,Observations
0,CUISINE,Etat d'usage,
1,CUISINECUISINE 15CUISINE 18

CUISINE 19,,

我认为是空行的原因

【讨论】：