【问题标题】：How to skip/dummy columns in mysqlsh importTable util?如何在 mysqlsh importTable util 中跳过/虚拟列？
【发布时间】：2019-10-23 15:21:11
【问题描述】：

我想明确列出importTable 中的columns 和LOAD DATA 和mysqlsh：

https://dev.mysql.com/doc/mysql-shell/8.0/en/mysql-shell-utilities-parallel-table.html

import.js：

util.importTable("sample.csv", {schema: "myschema", table: "mytable", 
    showProgress: true, columns: ["id","firstname",@dummy,@dummy,"lastname"]});

我的 csv 包含 5 列。但如果我的决赛桌只包含id, firstname, lastname，我必须想办法跳过源csv的两列，

导入：

mysqlsh --user=root --password='rootpw' --socket=/var/run/mysqld/mysqld.sock < import.js

问题：SyntaxError: Invalid or unexpected token at STDIN:2:347。 @dummy 和 '@dummy' 和 "@dummy" 都不起作用。

问题：如何跳过虚拟列？当使用LOAD DATA 时，它可以在列选项中使用@dummy。

【问题讨论】：

标签： mysql mysql-8.0 import-table

【解决方案1】：

tl;博士

从 MySQL Shell 8.0.22 开始，您可以通过将 columns 选项中的列名替换为整数值来跳过列。

util.importTable("/tmp/names.csv", {
    table:"names",
    columns: ["id", "firstname", 1, 2, "lastname"],
    dialect: "csv-unix"
});

相当于：

LOAD DATA LOCAL INFILE '/tmp/names.csv' INTO TABLE `names`
FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\\'
LINES TERMINATED BY '\n'
(id, firstname, @1, @2, lastname);

MySQL 外壳 >= 8.0.22

MySQL Shell 的并行表导入实用程序 util.importTable() 从版本 8.0.22 开始有一个新选项 decodeColumns，并增强了 columns 选项，使您能够以与LOAD DATA 语句相同的方式从导入文件中捕获列以进行输入预处理（或丢弃它们）。 decodeColumns 选项以与LOAD DATA 语句的SET 子句相同的方式为捕获的数据指定预处理转换，并将它们分配给目标表中的列。

util.importTable column 选项已扩展，现在接受整数作为数组值。作为k-th 参数传递的整数值，捕获k-th 列在输入文件中作为名为@987654334@ 的用户变量，其中i 是一个传递的整数。

绑定到用户变量的捕获列值可以在decodeColumns中使用在将结果分配给表格中的列。

示例 1 - 预处理列 2：

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1],
  decodeColumns: {'column2': '@1 / 100'}
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @var1)
SET `column2` = @var/100;

示例 2 - 跳过列：

util.importTable('file.txt', {
  table: 't1',
  columns: ['column1', 1, 'column2', 2, 'column3']
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (column1, @1, column2, @2, column3);

示例 3 - 为列生成值

util.importTable('file.txt', {
  table: 't1',
  columns: [1, 2],
  decodeColumns: {
    'a': '@1',
    'b': '@2',
    'sum': '@1 + @2',
    'mul': '@1 * @2',
    'pow': 'POW(@1, @2)'
  }
});

相当于：

LOAD DATA LOCAL INFILE 'file.txt'
INTO TABLE `t1` (@1, @2)
SET
  `a` = @1,
  `b` = @2,
  `sum` = @1 + @2,
  `mul` = @1 * @2,
  `pow` = POW(@1, @2);

8.0.17

很遗憾，目前 MySQL Shell 8.0.18 中的 util.importTable 不支持传递给列选项的用户变量。

您可以通过 ALTER TABLE 解决此限制，其中缺少导入数据文件中存在的具有正确列类型的列：

alter table names add column (dummy1 integer, dummy2 integer);

导入您的数据，例如/tmp/names.csv[1]

util.importTable("/tmp/names.csv", {table:"names", columns: ["id", "firstname", "dummy1", "dummy2", "lastname"], dialect: "csv-unix"})

并删除dummy 列：

alter table names drop column dummy1;
alter table names drop column dummy2;

或者直接调用 LOAD DATA LOCAL INFILE SQL 命令：

LOAD DATA LOCAL INFILE '/tmp/sample.csv'
  INTO TABLE myschema.mytable
  (id, firstname, @dummy, @dummy, lastname);

[1] 样本数据/tmp/names.csv

1,"Nicole",71,29,"Tusk"
2,"Bob",49,66,"Schiffer"
3,"Susan",61,17,"Tusk"
4,"Bob",24,59,"Trump"
5,"Nicole",25,46,"Goldberg"
6,"Bob",16,71,"Goldberg"
7,"Mark",43,43,"Schiffer"

【讨论】：