Azure 数据工厂：架构更改

Question

我有一个格式如下的 blob。第一行提供标题详细信息，接下来的 2 行作为数据记录，最后一行作为包含数据记录计数的尾部记录。在记录文件时，我想将我的模式定义为单个字段，一旦我删除了我的拖车记录，我想用“|”将它转换为正确的模式格式作为分隔符。请告诉我如何实现这一目标。

DeptID|DeptNAme
1|A
2|B
2

提前致谢 库马尔

Answer 1

更新：

1. 在前面Step4提到的SurrogateKey1活动之后，我们可以使用Select活动选择DeptID|DeptNAme列。

2. 然后我们可以使用DerivedColumn1活动、表达式split({DeptID|DeptNAme},'|')[1]和split({DeptID|DeptNAme},'|')[2]手动生成新列。

3. 数据预览如下：

---

@Kumar G 我们可以在 ADF 中使用data-flow 来实现这一点。
例如，我创建了一个简单的测试。

1. 我在 Azure Data Lake Gen2 中创建了一个 bolb，如下所示：

2. 我创建了这个 blob 的数据源，选择 Pipe (|) 作为 Column delimiter 和First row as header。 架构如下：

3. 我在ADF中创建了一个映射数据流，源数据预览如下：

4. 在SurrogateKey1 中，键入Row_No 作为键列，1 作为起始值。 数据预览如下：

5. 在Conditional split1 中，使用Row_No < 3 排除最后一行。

6. 在Select1 中，不选择Row_No 列， 数据预览如下：

就是这样！