我可以加快将 xml bz2 文件加载到内存中的速度吗？答案

【问题标题】：Can I speed up loading xml bz2 files into memory?我可以加快将 xml bz2 文件加载到内存中的速度吗？
【发布时间】：2017-06-22 17:48:08
【问题描述】：

我正在尝试将英语维基百科语料库 (https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2) 引入 python 以执行一些深度学习。我正在使用 gensim。

它是 16GB，我把它放在 AWS 的大型 EC2 机器上。我加载它

from gensim.corpora.wikicorpus import WikiCorpus
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
from pprint import pprint
import multiprocessing

wiki = WikiCorpus("enwiki-latest-pages-articles.xml.bz2")

我在 jupyter 笔记本中运行它，但它基本上挂起试图加载它。我正在观察内存消耗及其加载速度非常缓慢。（12 小时以上，只有 ~2 GB）。有什么办法可以加快速度？

【问题讨论】：

标签： python deep-learning gensim

【解决方案1】：

过去我在不同的服务器上处理过这个完全相同的文件，它从来没有造成任何相当大的延迟，唯一的区别是我从来没有使用过 jupyter notebook。因此，我敢于责怪笔记本。也许可以使用命令 shell（或 IPython）尝试一下。

【讨论】：