【问题标题】:reading and processing 20 GB binary file in Python [closed]在 Python 中读取和处理 20 GB 二进制文件[关闭]
【发布时间】:2022-12-08 03:03:19
【问题描述】:

我正在从事一个最初从 MATLAB 代码转换为 Python 的科学项目。输入是一个很大的二进制文件,大约 20GB。为了使 python 代码更快,我通过 tqdm 和多处理将大文件分成较小的块。这使程序运行得更快,但仍然不如 MATLAB 快。 我发现 python 中的“打开”函数比 MATLAB 慢得多。我正在寻找尽可能加速我的 Python 程序的方法。非常感谢您的任何建议。

【问题讨论】:

标签: python matlab multiprocessing


【解决方案1】:

一种选择是使用更快的 I/O 库,例如 NumPy 库,它提供读取和写入二进制文件的函数,其速度明显快于标准 Python open 函数。

您还可以尝试使用 Cython 库,它允许您将 Python 代码编译为 C,从而大大缩短执行时间。

【讨论】:

    猜你喜欢
    • 2018-01-03
    • 2012-11-26
    • 2020-12-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-14
    • 1970-01-01
    • 2011-12-26
    相关资源
    最近更新 更多