PyPDF2：在内存中连接 pdf答案

【问题标题】：PyPDF2: Concatenating pdfs in memoryPyPDF2：在内存中连接 pdf
【发布时间】：2017-08-13 16:58:39
【问题描述】：

我希望在纯 python 的内存中有效地将一堆小 pdf 连接（附加）在一起。具体来说，通常情况是 500 个单页 pdf，每个大小约为 400 kB，合并为一个。假设 pdf 可作为内存中的可迭代对象，例如列表：

my_pdfs = [pdf1_fileobj, pdf2_fileobj, ..., pdfn_fileobj]  # type is BytesIO

每个 pdf_fileobj 的类型为 BytesIO。然后，基本内存使用量约为 200 MB（500 个 pdf，每个 400kB）。

理想情况下，我希望使用不超过 400-500 MB 的总内存（包括 my_pdfs）连接以下代码。但是，情况似乎并非如此，最后一行的调试语句表明使用的最大内存几乎是 700 MB。此外，使用 Mac os x 资源监视器，当到达最后一行时，分配的内存被指示为 600 MB。

运行 gc.collect() 会将其减少到 350 MB（几乎太好了？）。在这种情况下，为什么我必须手动运行垃圾收集来摆脱合并垃圾？我已经看到这（可能）导致内存在稍微不同的情况下积累，我现在将跳过。

import PyPDF2
import io
import resources  # For debugging

def merge_pdfs(iterable):
    ''' Merge pdfs in memory '''
    merger = PyPDF2.PdfFileMerger()
    for pdf_fileobj in iterable:
        merger.append(pdf_fileobj)

    myio = io.BytesIO()
    merger.write(myio)
    merger.close()

    myio.seek(0)
    return myio

my_concatenated_pdf = merge_pdfs(my_pdfs)

# Print the maximum memory usage
print('Memory usage: %s (kB)' % resource.getrusage(resource.RUSAGE_SELF).ru_maxrss)

问题总结

为什么上面的代码需要将近 700 MB 的内存来合并 200 MB 的 pdf？不应该 400 MB + 开销就足够了吗？如何优化它？
当相关变量应该已经超出范围时，为什么我需要手动运行垃圾收集来清除 PyPDF2 合并垃圾？
这种通用方法怎么样？ BytesIO适合使用这种情况吗？ merger.write(myio) 运行起来似乎有点慢，因为这一切都发生在 ram 中。

谢谢！

【问题讨论】：

标签： python pdf memory pypdf2

【解决方案1】：

问：为什么上面的代码需要将近 700 MB 的内存来合并 200 MB 的 pdf？不应该 400 MB + 开销就足够了吗？如何优化它？

答：因为.append 创建了一个新的流对象，然后您使用merger.write(myio)，它创建了另一个流对象，并且您在内存中已经有 200 MB 的 pdf 文件，所以 3*200 MB。

问：为什么我需要手动运行垃圾回收来清除 PyPDF2 合并垃圾，而相关变量应该已经超出范围？

A：它是 PyPDF2 中已知的issue。

问：这个通用方法怎么样？这种情况下BytesIO适合用吗？

答：考虑到内存问题，您可能想尝试不同的方法。也许一个一个合并，暂时将文件保存到磁盘，然后从内存中清除已经合并的文件。

【讨论】：

【解决方案2】：

PyMuPdf library 也可能是 PyPDF2 中 PDFMerger 性能问题的一个很好的替代方案。

【讨论】：