【问题标题】:Stripping Carriage Returns in ADF Data Wrangle not working在 ADF Data Wrangle 中剥离回车不起作用
【发布时间】:2020-08-28 09:25:16
【问题描述】:

我目前正在尝试使用新的 Data Wrangling Data Flow 构建 ADF 管道,据我所知,它实际上是 PowerBI 的 Power Query 元素(我更像是 PBI 开发人员!)。

在数据流中,我从 SFTP 位置获取一个 CSV 文件,并使用 wrangle 转换数据并加载到 SQL Server 数据库中。

我已成功拾取文件并将其加载到表格中,但是 CSV 包含单元格内的回车符,这会导致在我的表格中插入额外的行。

使用整理数据流,我添加了一个删除回车的步骤。我可以明显看到更改已在发布步骤中应用:

预更改:Example of pre change

发布更改:Example of post change

但是,当我将数据整理步骤传递到我的管道时,它似乎加载了忽略删除 #(CR)#(LF) 的步骤的数据 - 即回车作为新行插入到我的表中。 Example of Data Inserted to Table

所以我想我的问题是,有没有人有使用 Data Wrangling 数据流去除回车的经验,如果有,他们可以给我一些关于他们如何使其工作的指导吗?据我所见,回车在通过数据争吵之前被考虑在内 - 这有点违背了使用它的目标!

谢谢

尼克

【问题讨论】:

  • 表中的预期结果是什么?你的问题不是很清楚。
  • 嗨 Leon - 如果我不清楚,请道歉。
  • 我有一个 excel 文件,里面有一行,大约 10 列。我希望将一行插入到表中相应的十个字段中。但是,在文件中,一列有一个单元格,其中包含 5 个回车符。我没有看到将一行插入到表中,而是看到 5 - 即对于每个回车,它会将其视为新行并将其作为一行插入到表中。
  • 更进一步——表格的截图显示了表格的第一列,应该是行ID。但是,由于换行符,您可以看到单元格中的文本,该单元格中包含包含回车符的单元格中的文本(我在数据争吵中已将其删除),即我可以看到换行符分成多行
  • 嗨@Churchy36,我创建了一个与你相同的txt(带有5个回车的单元格)的excel,我将数据加载到一行的SQL表中。它在我这边效果很好。那么源数据是什么,excel(.xlsx) 还是 .csv? csv文件通常用excel打开。

标签: pipeline azure-data-factory carriage-return data-wrangling


【解决方案1】:

这似乎是该工具当前的一个限制 - 鉴于它仅处于预览状态,这可能会在未来得到解决,但是目前它似乎没有去除回车的功能正在工作

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2012-11-15
    • 1970-01-01
    • 1970-01-01
    • 2022-01-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多