在不消耗大量内存的情况下将 CSV 转换为 XLS

Question

我需要将 CSV 文件转换为 XLSX 文件，然后将 XLSX 文件上传到 S3 存储桶中。目前我正在使用 pandas 将 CSV 文件转换为 XLSX。

df.to_excel('query_set.xlsx')

这适用于小数据集，但不适用于大数据集。我在具有 2GB RAM 的服务器中执行我的代码。

那么，我怎样才能将 CSV 转换为 XLSX 格式而不消耗太多内存呢？？

Answer 1

from openpyxl import Workbook
import csv


wb = Workbook()
ws = wb.active
with open('BIG.csv', 'r') as f:
    for row in csv.reader(f):
        ws.append(row)
wb.save('BIG.xlsx')

试试这个