为什么选择 Python 熊猫？

Question

一个组织正在评估数据转换工具。 许可工具（SSIS、Informatica 等）与 Python Pandas

我知道比较可以是苹果和橙子

1. 组织为什么以及何时可以选择 Pandas 进行数据转换而不是许可的 ETL 工具（除了成本因素）？

2. 在 RDBMS 中，数据存储在磁盘中，SQL 检索数据。在 Pandas 的情况下，数据是加载到 RAM 中还是如何存储？

3. 100 MB CSV 文件在加载到 DF 时占用的内存超过 100 MB。为什么？

Answer 1

1. 当组织倾向于开源或拥有 Python 编程专业知识时，他们大多更喜欢 pandas。
2. Pandas 将数据存储在 RAM 中。但在 chunksize 或 Dask 的帮助下，您可以处理大于内存的数据。
3. 这是因为当从磁盘加载数据时，它会获得其特定的数据类型，该数据类型取决于数字、浮点数或字符串的特征。它可以为您自动检测，或者您可以使用 dtype 参数指定数据类型。

希望，它会有所帮助！