将新数据从 csv 文件带到增量表答案

【问题标题】：bring new data from csv file to delta table将新数据从 csv 文件带到增量表
【发布时间】：2023-01-12 17:28:03
【问题描述】：

我用以下代码用 csv 文件创建了新表

%sql

SET spark.databricks.delta.schema.autoMerge.enabled = true;

create table if not exists catlog.schema.tablename;

COPY INTO catlog.schema.tablename
  FROM (SELECT *  FROM 's3://bucket/test.csv') 
    FILEFORMAT = CSV 
    FORMAT_OPTIONS ('mergeSchema' = 'true', 'header' = 'true')

但我有包含附加数据的新文件。我该如何加载请指导？

谢谢

需要在增量表中加载新数据文件

【问题讨论】：

标签： databricks azure-databricks aws-databricks

【解决方案1】：

我试图在我的环境中重现相同的内容并得到以下内容

确保检查架构和 file.csv data_type 是否匹配，否则会出现错误。

请按照以下语法从 csv 文件插入数据

%sql

copy into <catalog>.<schema>.<table_name>
  from "<file_loaction>/file_3.csv"
  FILEFORMAT = csv
  FORMAT_OPTIONS('header'='true','inferSchema'='True');

【讨论】：