在mysql中加载数据并避免重复记录

Question

我在我的 perl 文件中运行以下代码：

LOAD DATA INFILE 'file_name'
INTO TABLE tbl_name
FIELDS TERMINATED BY ','
(columns..., @var, morecolumns...)
SET datecolumn = str_to_date(@var, '%d/%m/%Y');

我有两个问题：

1. 当我运行 perl 文件时，我收到以下错误。这是否意味着我必须在数据库中的表中添加一个字段“var”？

   全局符号“@var”在 process.pl 第 37 行需要明确的包名称。 由于编译错误，process.pl 的执行被中止。

2. 如果出于任何原因我必须重新加载 .csv 文件中的数据并再次运行此命令，它会将新记录添加为重复项。如何编辑上述代码以避免重复记录？

更新了 Perl 的相关代码：

 my $sql = "LOAD DATA LOCAL INFILE '$fname' INTO TABLE $tname FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n' (trade_dt,t_id,....open_int);";
 print $sql,"\n"; #date is going in as '0000-00-00'
  $dbh->do($sql) or die $dbh->errstr;

这是它在 mySQL 中显示的内容

mysql> select max(trade_dt) from test;
+---------------+
| max(trade_dt) |
+---------------+
| 0000-00-00    |
+---------------+
1 row in set (0.04 sec)

我的理解是我需要添加SET trade_dt=str_to_date() 才能将日期作为yyyy-mm-dd 添加到我的数据库中。在我上传到数据库的 .csv 文件中，日期格式为dd/mm/yyyy

另外，如果有帮助，这就是在 mySQL 表中声明 trade_dt 的方式，测试：

trade_dt date NOT NULL

Answer 1

第一个问题中的错误信息意味着 Perl 正在将此字符串中的 @var 解释为全局 Perl 数组名称 @var，而不是 SQL 变量。这也意味着您在程序顶部说use strict，这很棒！

解决方法是转义字符串中的特殊 @ 字符：

(columns..., \@var, morecolumns...)
SET datecolumn = str_to_date(\@var, '%d/%m/%Y');

Answer 2

对于第二个问题，将数据加载到临时表中，然后使用游标读取临时表上的行并将它们插入到真实表中，避免使用一些逻辑代码重复（where 条件，如果存在结构控制等） .

Answer 3

你能用“REPLACE”代替“INSERT”吗？如果没有，那么您可以在插入之前清空表格吗？

我必须在我使用的 java 程序中的主 INSERT 之前清空一个表，因为我不关心旧数据...

Answer 4

错误Global symbol @var.. 来自perl，意味着您的变量@var 未在当前范围内声明。假设它被正确使用，您可以使用my @var 声明它。如果它是一些非 perl 变量，则需要单引号字符串以避免变量插值。很难说你应该做什么，因为你没有显示你的代码。例如：

my $query = q#LOAD DATA INFILE 'file_name'
INTO TABLE tbl_name
FIELDS TERMINATED BY ','
(columns..., @var, morecolumns...)
SET datecolumn = str_to_date(@var, '%d/%m/%Y');#;

请注意，q() 将根据您的需要采用替代分隔符，例如 #，并将防止字符串中的变量插值。

如果它是一个 perl 变量，您可能应该使用 placeholders 和 DBI 模块（或类似模块）来增加安全性。 @var 数组如果在双引号字符串中，将被扩展并填充空格（如果 $" 设置为默认值），这可能不是您想要的。例如：

my @var = ("foo", "bar", "baz");
print "@var";

将打印foo bar baz。