如何通过 pandas `df.to_sql()` 在已创建的数据库表中插入值

Question

我正在创建新表，然后在其中插入值，因为 tsv 文件没有标题，所以我需要先创建表结构然后插入值。我正在尝试将值插入到已创建的数据库表中。我正在使用df.to_sql 函数将tsv 值插入数据库表，但它正在创建表，但它没有在该表中插入值，也没有给出任何类型的错误。

我尝试通过sqalchemy 和insert 值创建新表，但它对已经创建的表不起作用。

conn, cur = create_conn()

engine = create_engine('postgresql://postgres:Shubham@123@localhost:5432/walmart')

create_query = '''create table if not exists new_table(
                "item_id" TEXT, "product_id" TEXT, "abstract_product_id" TEXT, 
           "product_name" TEXT, "product_type" TEXT, "ironbank_category" TEXT, 
          "primary_shelf" TEXT, apparel_category" TEXT, "brand" TEXT)'''

cur.execute(create_query)
conn.commit()
file_name = 'new_table'
new_file = "C:\\Users\\shubham.shinde\\Desktop\\wallll\\new_file.txt"
data = pd.read_csv(new_file, delimiter="\t", chunksize=500000, error_bad_lines=False, quoting=csv.QUOTE_NONE, dtype="unicode", iterator=True)
with open(file_name + '_bad_rows.txt', 'w') as f1:
    sys.stderr = f1
    for df in data:
        df.to_sql('new_table', engine, if_exists='append')
data.close()

我想将df.to_sql() 中的值插入到数据库表中

Answer 1

不确定此参数是否适用于 postgresql，但我在 mssql 上执行此操作时遇到了类似的问题。 .to_sql() 已经在 new_table 的方法的第一个参数中创建了表。 if_exists = append 也不检查重复值。如果new_file 中的数据被覆盖，或者再次运行您的函数，它只会添加到表中。至于为什么您看到表名，但看不到其中的数据，可能是由于df 的大小。尝试将fast_executemany=True 设置为create_engine 的第二个参数。

我的建议，去掉create_query，处理to_sql()之后的数据类型。创建 SQL 表后，您可以使用实际的 SQL 表，并针对此临时表连接以进行重复测试。非重复项可以写入实际表，转换UPDATE 上的数据类型以匹配表数据类型结构。