执行熊猫内部合并时出现内存错误

Question

我正在尝试使用 pandas 合并两个文件，其中一个非常大（6gb）。每当我尝试它时，都会出现内存错误，因为我的 RAM(8gb) 可能太小而无法处理。关于如何解决这个问题的任何想法？ 我的代码是：

 import pandas as pd
broad_matched = pd.read_csv("FILE A", delim_whitespace=True)
broad_matched2 = broad_matched[~(broad_matched['P'] >= 0.05)]
SNPs= pd.read_csv("FILE B", 
                  sep='\t', 
                 names=["#CHROM","POS1","POS", "rsID","E","F"])
broad_matched2=broad_matched2.drop(columns=['LOG.OR._SE','ID','REF','ALT','ERRCODE','Z_STAT','OR','OBS_CT','TEST','FIRTH.','A1','#CHROM'])
Table1=pd.merge(broad_matched2,SNPs,on='POS',how='inner').dropna()
Table1.to_csv(r'D:/Table1', index = False)

Answer 1

你应该看看this post。该解决方案涉及使用 dask 数据帧。