Azure 数据工厂。将导入时的日期格式转换为 SQL DB

Question

我正在使用 Azure Datafactory 将我拥有的一些 CSV 文件导入 Azure SQL DB。我有一个与数据库中当前设置为DATE 的日期字段相关的问题（我也尝试过'DATETIME'）。

CSV 中的日期格式如下所示

20160700000000

当我尝试将 CSV 标题映射到 Azure Datafactory 中的数据库行时，它告诉我它们不兼容。

我是否需要将数据库中的类型修改为 DATE/DATETIME 以外的类型，或者我可以在 Datafactory 的导入管道中做些什么？

非常感谢任何帮助！

Answer 1

您有三个选择：

1. 修复数据源的导出以使用规范的东西（而且我没有在您可能准确的数据样本中看到任何一天）。
2. 使用 Hive 作业按摩列。
3. 利用存储过程来修复要插入的日期列。

我假设您正在做一个直表映射数据集。如果您无法控制源数据，那么您将不得不发挥创造力。

Answer 2

我不太明白值“20160700000000”的日期时间。如果它的意思是“7/1/2016 12:00:00 AM”，你可以像下面这样设置源结构来解析 dateTime 这样的值：

“结构”：[ { "name": "lastlogindate", "type": "Datetime", "format": "yyyyMM00000000"}]

更多详情请参考此链接：https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-sql-connector/#specifying-structure-definition-for-rectangular-datasets