pd.read_csv 中的 low_memory 和 memory_map 标志有什么作用

Question

pandas.read_csv 的函数签名提供了以下选项：

read_csv(filepath_or_buffer, low_memory=True, memory_map=False, iterator=False, chunksize=None, ...)

我找不到任何有关 low_memory 或 memory_map 标志的文档。我对这些功能是否已经实现以及如果实现了它们如何工作感到困惑。

具体来说，

1. memory_map：如果实现它是否使用np.memmap，如果是这样，它是否将各个列存储为 memmap 或行。
2. low_memory：它是否指定像cache 这样的东西存储在内存中？
3. 我们可以将现有的 DataFrame 转换为 memmapped DataFrame

P.S.：相关模块的版本

pandas==0.14.0
scipy==0.14.0
numpy==1.8.1

Answer 1

我将尝试总结这个问题的 cmets，并将我自己的研究添加到一个全面的答案中。

1. low_memory 选项有点被贬低了，因为它实际上不再做任何事情 (source)。

2. memory_map 似乎没有使用 numpy 内存映射，据我所知，source code 这似乎是如何解析传入数据流的一个选项，而不是重要的东西您收到的数据帧是如何工作的。

3. 由于我在第 2 点中的假设是这仅用于解析，所以这个问题有点无关紧要。