【发布时间】:2020-08-28 09:25:16
【问题描述】:
我目前正在尝试使用新的 Data Wrangling Data Flow 构建 ADF 管道,据我所知,它实际上是 PowerBI 的 Power Query 元素(我更像是 PBI 开发人员!)。
在数据流中,我从 SFTP 位置获取一个 CSV 文件,并使用 wrangle 转换数据并加载到 SQL Server 数据库中。
我已成功拾取文件并将其加载到表格中,但是 CSV 包含单元格内的回车符,这会导致在我的表格中插入额外的行。
使用整理数据流,我添加了一个删除回车的步骤。我可以明显看到更改已在发布步骤中应用:
但是,当我将数据整理步骤传递到我的管道时,它似乎加载了忽略删除 #(CR)#(LF) 的步骤的数据 - 即回车作为新行插入到我的表中。 Example of Data Inserted to Table
所以我想我的问题是,有没有人有使用 Data Wrangling 数据流去除回车的经验,如果有,他们可以给我一些关于他们如何使其工作的指导吗?据我所见,回车在通过数据争吵之前被考虑在内 - 这有点违背了使用它的目标!
谢谢
尼克
【问题讨论】:
-
表中的预期结果是什么?你的问题不是很清楚。
-
嗨 Leon - 如果我不清楚,请道歉。
-
我有一个 excel 文件,里面有一行,大约 10 列。我希望将一行插入到表中相应的十个字段中。但是,在文件中,一列有一个单元格,其中包含 5 个回车符。我没有看到将一行插入到表中,而是看到 5 - 即对于每个回车,它会将其视为新行并将其作为一行插入到表中。
-
更进一步——表格的截图显示了表格的第一列,应该是行ID。但是,由于换行符,您可以看到单元格中的文本,该单元格中包含包含回车符的单元格中的文本(我在数据争吵中已将其删除),即我可以看到换行符分成多行
-
嗨@Churchy36,我创建了一个与你相同的txt(带有5个回车的单元格)的excel,我将数据加载到一行的SQL表中。它在我这边效果很好。那么源数据是什么,excel(.xlsx) 还是 .csv? csv文件通常用excel打开。
标签: pipeline azure-data-factory carriage-return data-wrangling