【问题标题】:Debugging without reloading large files无需重新加载大文件即可进行调试
【发布时间】:2015-04-30 16:25:19
【问题描述】:

我有一个 10gb 的文本文件,我的算法需要将它们全部加载到内存中(大约需要 15 分钟)并计算。但是,计算部分非常简单快捷,但我需要一遍又一遍地调试它。因此,每次更改代码时,都需要重新加载大文件。

那么,无论如何我可以在内存中缓存这个文件一段时间,并且计算算法能够查看那个内存吗?


我猜数据库不是可选的,因为那时我的算法需要大量查询数据库。它也会很慢。

【问题讨论】:

  • Reader 获取文件并将其放入共享内存。数据处理代码将访问相同的共享内存段

标签: performance caching memory large-data


【解决方案1】:

找一台至少有 16GB 内存的机器,然后让操作系统来做缓存。

【讨论】:

    猜你喜欢
    • 2017-05-11
    • 2011-12-21
    • 2017-10-24
    • 1970-01-01
    • 2018-06-17
    • 1970-01-01
    • 2019-04-28
    • 2018-12-12
    • 2012-08-16
    相关资源
    最近更新 更多