Python读取CSV文件写入Mysql数据库

环境

win10
python3.7
mysql5.7

方法

• pymysql

pip install pymysql

• xxx.py

# -*- coding:utf-8 -*-
import pandas as pd
import pymysql
import time, datetime

def get_data(file_name):
    # 用pandas读取csv
    # data = pd.read_csv(file_name,engine=\'python\',encoding=\'gbk\')
    data = pd.read_csv(file_name,engine=\'python\')
    print (data.head(5)) #打印前5行
    
    # 数据库连接
    conn = pymysql.connect(
		user="用户名",
		port=端口,
		passwd="密码",
		db="数据库名",
		host="127.0.0.1",
		charset = \'utf8\'
    )
        
    # 使用cursor()方法获取操作游标
    cursor = conn.cursor()

    # 数据过滤，替换 nan 值为 None
    data = data.astype(object).where(pd.notnull(data), None) 
	
    for ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER in zip(data[\'ID\'],data[\'CREATE_DATE\'],data[\'CREATE_USER_ACCOUNT\'],data[\'UPDATE_DATE\'],data[\'UPDATE_USER_ACCOUNT\'],data[\'TASK_ID\'],data[\'USER_ACCOUNT\'],data[\'USER_PERSON_TYPE_ID\'],data[\'USER_NAME\'],data[\'COOPERATIVE_MEMBER\']):

        CREATE_DATE = format_date(CREATE_DATE) # 这里由于对日期有特殊需求，自己处理了一下，代码就不贴了，如无需要可略过。
        
        dataList = [ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER]

        print (dataList) # 插入的值
        
        try:
            insertsql = "INSERT INTO sw_task_member_asign(ID,CREATE_DATE,CREATE_USER_ACCOUNT,UPDATE_DATE,UPDATE_USER_ACCOUNT,TASK_ID,USER_ACCOUNT,USER_PERSON_TYPE_ID,USER_NAME,COOPERATIVE_MEMBER) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
            cursor.execute(insertsql,dataList)
            conn.commit()
        except Exception as e:
            print ("Exception")
            print (e)
            conn.rollback()
            
    cursor.close()
    # 关闭数据库连接
    conn.close()

def main():
    # 读取数据
    get_data(\'xxx.csv\')


if __name__ == \'__main__\':
    main()

注：读取大文件可以用load data导入，但自己并没有尝试成功。写的时候也碰了些坑，搜了不少博客并不适合自己，总会出现各种问题，上述代码可能只并不适配所有场景，仅供参考。

.end