Python pandas 没有像在 Oracle 上那样导入值

Question

我在我的 python 脚本中导入了一个 txt 文件，然后将其转换为数据框。然后我创建了一个函数，它使用 cx_oracle 更快地将我的数据插入到 Oracle 数据库中。它工作得很好，只需要 15 分钟即可导入 100 万+ 个数据 - 但它不会按原样复制值。这是该代码的一部分：

sqlquery = 'INSERT INTO {} VALUES({})'.format(tablename, inserttext)
df_list = df.values.tolist()
cur = con.cursor()

cur.execute(sql_query1)
logger.info("Completed: %s", sql_query1)

for b in df_list :

    for index, value in enumerate(b):
        if isinstance(value, float) and math.isnan(value):
            b[index] = None
        elif isinstance(value, type(pd.NaT)):
            b[index] = None

这是我所期望的示例数据：

DATE	STORE	COST	PARTIAL
16-JUN-21 08.00.00.000000000 PM	00006	+00000.0082	false

但这是被导入的

DATE	STORE	COST	PARTIAL
16-JUN-21	6	0.0082	F

我需要它与零、符号等完全相同。我已经尝试通过 df = df.astype(str) 将数据帧转换为字符串，但它不起作用。

希望你能帮忙！

Answer 1

如果不考虑架构设计和架构是否真的是您应该使用的，那么使用此架构：

create table t (d varchar2(31), s varchar2(6), c varchar(12), p varchar(5));

这个数据在t.csv:

16-JUN-21 08.00.00.000000000 PM,00006,+00000.0082,false

还有这段代码：

import cx_Oracle
import os
import sys
import csv

if sys.platform.startswith("darwin"):
    cx_Oracle.init_oracle_client(lib_dir=os.environ.get("HOME")+"/Downloads/instantclient_19_8")

username = os.environ.get("PYTHON_USERNAME")
password = os.environ.get("PYTHON_PASSWORD")
connect_string = os.environ.get("PYTHON_CONNECTSTRING")

connection = cx_Oracle.connect(username, password, connect_string)

with connection.cursor() as cursor:

    # Predefine the memory areas to match the table definition
    cursor.setinputsizes(31,6,12,5)

    # Adjust the batch size to meet your memory and performance requirements
    batch_size = 10000

    with open('t.csv', 'r') as csv_file:
        csv_reader = csv.reader(csv_file, delimiter=',')
        sql = "insert into t (d, s, c, p) values (:1, :2, :3, :4)"
        data = []
        for line in csv_reader:
            data.append(line)
            if len(data) % batch_size == 0:
                cursor.executemany(sql, data)
                data = []
        if data:
            cursor.executemany(sql, data)
        connection.commit()

with connection.cursor() as cursor:
    sql = """select * from t"""
    for r in cursor.execute(sql):
        print(r)

输出是：

('16-JUN-21 08.00.00.000000000 PM', '00006', '+00000.0082', 'false')

有关一般参考，请参阅 cx_Oracle 文档Batch Statement Execution and Bulk Loading。