从网站上抓取文本后，用 Python 编写一个 CSV 文件 [重复]

Question

我在从网站上抓取文本后尝试编写一个 CSV 文件。我已经找到了这个答案：How can write scraped content to a CSV file?，但这并不能解决我的问题。

问题是我写完 CSV 文件后只有一行。

这是我目前的代码（我使用了bs4 和mechanize）：

from bs4 import BeautifulSoup
import mechanize

url = "https://www.contratos.gov.co/consultas/detalleProceso.do?numConstancia=15-12-3634534"
br = mechanize.Browser()
search = br.open(url)

# Browser options
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Firefox')]

response = search.read()

soup = BeautifulSoup(response, 'lxml')
text = soup.findAll('td', {'class': 'tablaslistOdd'})
for t in text:
    result = t.text.replace("\t", "").replace("\r", "").replace('\n', '')
    newResult = result.encode('utf-8')
    #print newResult
    for line in newResult:
        output = open('data/myCSVfile.csv', 'w')
        output.write(newResult)
        output.close()

我正在寻找的是为每一行文本编写一个 CSV 列。 这可能吗？ 任何解决问题的建议都非常感谢！

Answer 1

问题是每次您关闭并打开文件时，它都会重写其中的内容。所以你不需要关闭它。例如，您编写 csv 的代码可能如下所示：

with open('data/myCSVfile.csv', 'w') as f:
    for line in newResult:
        f.write(newResult + '\n')

---

顺便说一句，with 语句让您不必关心关闭文件 - 它会为您关闭它。使用它是一个很好的做法，因为它可以让您的代码更整洁，并在您不需要它时立即关闭文件。

---

要获得你想要的格式，试试这个：

import csv

lines = []
for t in soup.findAll('td', {'class': 'tablaslistOdd'}):
    text = t.text.replace("\t", "").replace("\r", "").replace('\n', '').encode('utf-8')
    lines.append(text)

with open('myCSVfile.csv', 'w') as f:
    writer = csv.writer(f, delimiter=',')
    writer.writerow(lines)