如何在 AWS 数据管道中指定列映射？

【问题标题】：How to specify column mapping in AWS Data pipeline?如何在 AWS 数据管道中指定列映射？
【发布时间】：2017-05-24 13:47:25
【问题描述】：

我正在使用 AWS 数据管道将数据从 RedShift 复制到 RDS 中的 MySql。数据被复制到 MySQL。在管道中，插入查询指定如下：

insert into test_Employee(firstname,lastname,email,salary) values(?,?,?,?);

我有什么方法可以指定源表的列名来代替上述查询中的？？我尝试为源表添加列名，但这似乎不起作用。目前源表和目的表中的列名相同。

感谢您的宝贵时间。如果需要任何其他信息，请告诉我。

【问题讨论】：

【解决方案1】：

指定列而不是 ? 将不起作用，因为插入 SQL 查询对源数据源一无所知。 AWS Copy 活动只是按照您从源数据集中选择它们的顺序将参数传递给此查询。

但是，插入查询中目标表 (test_Employee) 的列名不必与 DDL 中指定的列顺序匹配，因此您可以更改此查询以匹配源表中列的顺序。例如，如果您的源数据集具有以下列： email,first_name,last_name,salary

插入查询：

insert into test_Employee(email,firstname,lastname,salary) values(?,?,?,?);

注意。如您所见，源表和目标表的列名不必匹配。

【讨论】：