【发布时间】:2021-07-31 20:32:30
【问题描述】:
为什么 azure 数据工厂数据流会自动在输出文件中添加新行?这可以删除还是有设置要配置?请参阅第一张图片的屏幕截图。
预览数据时,我只有 1 行/记录。
抱歉,我必须删除/模糊数据。
【问题讨论】:
-
我看不到您所说的新行。你能分享更多细节吗?源和汇数据集类型 ?还有检查标签的片段
标签: azure azure-data-factory azure-data-factory-2
为什么 azure 数据工厂数据流会自动在输出文件中添加新行?这可以删除还是有设置要配置?请参阅第一张图片的屏幕截图。
预览数据时,我只有 1 行/记录。
抱歉,我必须删除/模糊数据。
【问题讨论】:
标签: azure azure-data-factory azure-data-factory-2
我试图重现这个场景,你是对的。这发生在某些文件类型中。比如我在 .CSV 和二进制文件中看到的。
我知道在使用 Binary dataset 时,ADF 不会解析文件内容而是按原样处理,只能从 Binary dataset 复制到 Binary dataset。
数据预览是使用行限制和从 Spark 内存中的数据帧中采样的数据的快照。因此,在这种情况下不使用或测试接收驱动程序。预览时显示的行数有限,预览中显示的列数从文件的第一行开始采用。
我可以看到如下:
在存储容器的 ADF 预览编辑器中从接收器输出文件:
您也可以通过查看检查选项卡来确认
我还尝试将输出文件下载到本地并使用不同的编辑器打开以确认行为(新行 '16' 自动附加)
解决方法:您可以尝试使用 DelimitedText 作为源数据集或 Json 作为接收器数据集。
请与产品组分享您的feedback,以便他们进行调查。
【讨论】: