MySql FetchMany 内存问题

Question

我正在将数据从 Mysql 移动到 Postgres，我的代码如下 -

import os, re, time, codecs, glob, sqlite3
from StringIO import StringIO
import psycopg2, MySQLdb, datetime, decimal
from datetime  import date
import gc

tables = (['table1' , 27],)
conn = psycopg2.connect("dbname='xxx' user='xxx' host='localhost' password='xxx' ")
curpost = conn.cursor()
db = MySQLdb.connect(host="127.0.0.1", user="root", passwd="root" , unix_socket='/var/mysql/mysql.sock', port=3306 )
cur = db.cursor() 
cur.execute('use xxx;')

for t in tables:
    print t
    curpost.execute( "truncate table " + t[0] )
    cur.execute("select * from "+ t[0] )
    a = ','.join( '%s' for i in range(t[1]) )
    qry = "insert into " + t[0]  + " values ( " + a +" )" 
    print qry
    i = 0
    while True:
        rows = cur.fetchmany(5000)
        if not rows: break
        string = ''
        for row in rows:
            string = string +  ('|'.join([str(x) for x in row])) + "\n"                
        curpost.copy_from(StringIO(string),  t[0], sep="|", null="None" )
        i += curpost.rowcount
        print i  , " loaded"
        curpost.connection.commit()        
        del string, row, rows
        gc.collect()        

curpost.close()
cur.close()

对于小表，代码运行良好。然而，较大的记录（360 万条记录），当 mysql 执行 (cur.execute("select * from "+ t[0] )) 运行时，机器上的内存利用率会增加。即使我使用了 fetchmany 并且记录应该只分批 5000 条。我也尝试过 500 条记录，它是一样的。对于大表来说，fetchmany 似乎没有像记录的那样工作..

编辑 - 我添加了垃圾收集和 del 语句。直到所有记录都没有被处理，内存仍然会一直膨胀。

有什么想法吗？

Answer 1

对不起，如果我错了，你说过你不想改变查询

但万一你别无选择，你可以试试：

替换这个片段：

cur.execute("select * from "+ t[0] )
a = ','.join( '%s' for i in range(t[1]) )
qry = "insert into " + t[0]  + " values ( " + a +" )" 
print qry
i = 0
while True:
        rows = cur.fetchmany(5000)

到这个：

a = ','.join( '%s' for i in range(t[1]) )
qry = "insert into " + t[0]  + " values ( " + a +" )" 
print qry
i = 0
while True:
    cur.execute("select * from "+ t[0]+" LIMIT "+i+", 5000")
    rows = cur.fetchall()