使用 Python 将纯文本文件解析为 CSV 文件

Question

我有一系列使用 Beautiful Soup 解析成单个文本文件的 HTML 文件。 HTML 文件被格式化，使得它们的输出始终是文本文件中的三行，所以输出看起来像：

Hello!
How are you?
Well, Bye!

但它也可以很容易

83957
And I ain't coming back!
hgu39hgd

换句话说，每个 HTML 文件的内容并不是真正标准的，但它们总是产生三行。

所以，我想知道我应该从哪里开始，如果我想获取从 Beautiful Soup 生成的文本文件并将其解析为一个 CSV 文件，其中包含如下列（使用上面的示例）：

Title   Intro   Tagline
Hello!    How are you?    Well, Bye!
83957    And I ain't coming back!    hgu39hgd

从文本文件中剥离 HTML 的 Python 代码如下：

import os
import glob
import codecs
import csv
from bs4 import BeautifulSoup

path = "c:\\users\\me\\downloads\\"

for infile in glob.glob(os.path.join(path, "*.html")):
    markup = (infile)
    soup = BeautifulSoup(codecs.open(markup, "r", "utf-8").read())
    with open("extracted.txt", "a") as myfile:
        myfile.write(soup.get_text())

我认为我可以使用它来设置 CSV 文件中的列：

csv.put_HasColumnNames(True)

csv.SetColumnName(0,"title")
csv.SetColumnName(1,"intro")
csv.SetColumnName(2,"tagline")

我在空白处绘制的是如何一次遍历文本文件 (extracted.txt) 一行，当我进入新行时，将其设置为 CSV 文件中的正确单元格。文件的前几行是空白的，每组文本之间有很多空白行。所以，首先我需要打开文件并阅读它：

file = open("extracted.txt")

for line in file.xreadlines():
    pass # csv.SetCell(0,0 X) (obviously, I don't know what to put in X)

另外，我不知道如何告诉 Python 继续读取文件，并添加到 CSV 文件，直到完成。换句话说，没有办法确切知道 HTML 文件中总共有多少行，所以我不能只知道csv.SetCell(0,0) to cdv.SetCell(999,999)

Answer 1

我不完全确定您使用的是什么 CSV 库，但它看起来不像 Python's built-in one。无论如何，这就是我的做法：

import csv
import itertools

with open('extracted.txt', 'r') as in_file:
    stripped = (line.strip() for line in in_file)
    lines = (line for line in stripped if line)
    grouped = itertools.izip(*[lines] * 3)
    with open('extracted.csv', 'w') as out_file:
        writer = csv.writer(out_file)
        writer.writerow(('title', 'intro', 'tagline'))
        writer.writerows(grouped)

这种方式构成了一个管道。它首先从文件中获取数据，然后从行中删除所有空格，然后删除所有空行，然后将它们分组为三个一组，然后（在写入 CSV 标头后）将这些组写入 CSV 文件。

要合并您在 cmets 中提到的最后两列，您可以将writerow 调用以明显的方式将writerows 更改为：

writer.writerows((title, intro + tagline) for title, intro, tagline in grouped)

Answer 2

也许我没有正确理解你，但你可以这样做：

file = open("extracted.txt")

# if you don't want to do .strip() again, just create a list of the stripped 
# lines first.
lines = [line.strip() for line in file if line.strip()]

for i, line in enumerate(lines):
    csv.SetCell(i % 3, line)