MySQL LOAD DATA LOCAL INFILE 避免重复

Question

我正在使用这个 LOAD DATA LOCAL INFILE 语句来快速上传文件。

LOAD DATA LOCAL INFILE 'file_location/file.txt'
    INTO TABLE mytable 
    FIELDS TERMINATED by '\t'
    LINES TERMINATED BY '\n'
    IGNORE 18 LINES //ignore some header info
    (sampleID, testID);

但是我过去已经加载了一些文件，我想避免重复。

数据库结构包括一个自动递增的 PK 作为附加列。

在上传之前不必打开每个文件并进行搜索以确定这些记录是否已经存在，有没有办法修改我正在使用的命令来忽略基于同时具有 sampleID 和 testID 行的重复行在与传入文件匹配的表中？

例如，假设当前表有以下行：

tablePKID    sampleID    testID
    0         0001        A
    1         0001        B
    2         0003        A
    3         0003        B

我希望导入一个包含以下记录的文件

  0001        A
  0001        B
  0001        C
  0005        A
  0005        B

我怎样才能确保只有

  0001        C
  0005        A
  0005        B

是进口的吗？

Answer 1

我不知道你是如何让 tablePKID 从 0 自动递增的，现在你可以在 samplid 和 testid 上指定一个唯一键并加载..IGNORE 例如

DROP TABLE IF EXISTS T;
CREATE TABLE T
(tablePKID   INT auto_increment primary key, 
sampleID VARCHAR(10),   testID VARCHAR(10));

alter table t
    add unique key k1(sampleid,testid);

INSERT INTO T (sampleid,testid) VALUES
(   '0001'   ,     'A'),
(   '0001'   ,     'B'),
(   '0003'   ,     'A'),
(   '0003'   ,     'B');

文件数据.txt

sampleid    testid
"0001"  "A"
"0001"  "B"
"0001"  "C"
"0005"  "A"
"0005"  "B"


LOAD DATA LOCAL INFILE 'C:\\Program Files\\MariaDB 10.1\\data\\sandbox\\data.txt'
     ignore
    INTO TABLE t 
    FIELDS TERMINATED by '\t'
    enclosed by '"'
    LINES TERMINATED BY '\r\n'
    IGNORE 1 LINES 
    (sampleID, testID);

+-----------+----------+--------+
| tablePKID | sampleID | testID |
+-----------+----------+--------+
|         1 | 0001     | A      |
|         2 | 0001     | B      |
|         3 | 0003     | A      |
|         4 | 0003     | B      |
|         5 | 0001     | C      |
|         6 | 0005     | A      |
|         7 | 0005     | B      |
+-----------+----------+--------+
7 rows in set (0.00 sec)