内存消耗 Python Pandas 内存泄漏

Question

我正面临 Python 和 Pandas 的内存问题，

代码很简单，

for i in range(5):
    df = db_controller.read_from_database(i)   
    print(df)

df 是从数据库读取的 pandas Dataframe，每次迭代都会增加约 1Gb 的弹性内存，所有迭代都会从数据库中检索完全相同的数据。在我看来，对于每次迭代，弹性内存不应该增加，因为变量 df 超出范围（在新迭代中）。结果是，经过一些迭代后，弹性内存增加到 12 Gb，并且出现错误 OutOfMemory。

我已经尝试强制垃圾收集器：

for i in range(5):
    df = db_controller.read_from_database(i)   
    print(df)
    del df
    gc.collect()

结果是每次调用垃圾收集器时，大约 30Mb 从弹性内存中释放出来，但它无法释放应有的 1Gb。

谁能帮帮我？如何在每次迭代后完全释放 df DataFrame？

• 我也试过删除 db_controller：

  from pyathenajdbc import connect
  import pandas as pd    
  
  for i in range(5):
      query = "select * from events.common_events limit 20000"
  
      conn = connect(s3_staging_dir=amazon_constants.AMAZON_S3_TABLE_STAGING_DIR,
                 region_name=amazon_constants.AMAZON_REGION)
      df = pd.DataFrame()
      try:
          df = pd.read_sql(query, conn)
      finally:
          conn.close()
  
      print(df)
      del df
      gc.collect()
  

Answer 1

我没有尝试，但这应该可以：

from multiprocessing import Pool

def read_func():
    df = db_controller.read_from_database(i) 
    print(df)  

pool = Pool()
for i in range(5):
    pool.map(read_func)
    pool.close()
    pool.join()

因为多处理是操作系统级别的，与 pandas 无关。