【发布时间】:2022-09-30 15:26:59
【问题描述】:
我正在准备一个使用大型数组(1-40 GB)的 Jupyter 笔记本,我想给出它的内存要求,或者更确切地说:
- 可用内存量 (米) 运行 Jupyter 服务器和笔记本(本地)所必需的,
- 可用内存量 (ñ) 在服务器已经运行时(本地)运行笔记本所必需的。
我最好的主意是:
- 运行
/usr/bin/time -v jupyter notebook, - 假设“Maximum resident set size”是服务器单独使用的内存(小号),
- 将笔记本下载为*.py文件,
- 运行
/usr/bin/time -v ipython notebook.py - 假设“最大驻留集大小”是代码本身使用的内存(C)。
然后假设ñ>C和米>小号+C.
我认为必须有更好的方法,如:
- 我希望 Jupyter 笔记本使用额外的内存来与客户端等进行通信,
- 在浏览器中运行的客户端还使用了额外的内存,
- 未收集的垃圾会导致C,但不应该算作所需的内存,应该吗?
-
/usr/bin/time -v jupyter nbconvert --to notebook --execute notebook.ipynb呢?虽然不考虑浏览器显示内存 -
@JoshFriedlander 我还没有尝试过。是否测量米或者ñ?
标签: python memory jupyter-notebook resources