将本地 SQL 数据复制为 Parquet 时出错答案

【问题标题】：Error copying on-Premise SQL Data as Parquet将本地 SQL 数据复制为 Parquet 时出错
【发布时间】：2020-03-12 04:21:12
【问题描述】：

目前无法使用 ADF V2 复制活动通过集成运行时以 parquet 格式将数据从本地 SQL Server 复制到 Azure Blob 存储。 IR 机器上安装的最新 JRE。收到此错误：

{ 
"errorCode": "2200", 
"message": "Failure happened on 'Sink' side. ErrorCode=UserErrorJavaInvocationException,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=An error occurred when invoking java, message: java.lang.UnsatisfiedLinkError:no snappyjava in java.library.path\ntotal entry:18\r\njava.lang.ClassLoader.loadLibrary(Unknown Source)\r\njava.lang.Runtime.loadLibrary0(Unknown Source)\r\njava.lang.System.loadLibrary(Unknown Source)\r\norg.xerial.snappy.SnappyLoader.loadNativeLibrary(SnappyLoader.java:170)\r\norg.xerial.snappy.SnappyLoader.load(SnappyLoader.java:145)\r\norg.xerial.snappy.Snappy.<clinit>(Snappy.java:47)\r\norg.apache.parquet.hadoop.codec.SnappyCompressor.compress(SnappyCompressor.java:67)\r\norg.apache.hadoop.io.compress.CompressorStream.compress(CompressorStream.java:81)\r\norg.apache.hadoop.io.compress.CompressorStream.finish(CompressorStream.java:92)\r\norg.apache.parquet.hadoop.CodecFactory$BytesCompressor.compress(CodecFactory.java:112)\r\norg.apache.parquet.hadoop.ColumnChunkPageWriteStore$ColumnChunkPageWriter.writePage(ColumnChunkPageWriteStore.java:89)\r\norg.apache.parquet.column.impl.ColumnWriterV1.writePage(ColumnWriterV1.java:152)\r\norg.apache.parquet.column.impl.ColumnWriterV1.flush(ColumnWriterV1.java:240)\r\norg.apache.parquet.column.impl.ColumnWriteStoreV1.flush(ColumnWriteStoreV1.java:126)\r\norg.apache.parquet.hadoop.InternalParquetRecordWriter.flushRowGroupToStore(InternalParquetRecordWriter.java:164)\r\norg.apache.parquet.hadoop.InternalParquetRecordWriter.close(InternalParquetRecordWriter.java:113)\r\norg.apache.parquet.hadoop.ParquetWriter.close(ParquetWriter.java:297)\r\ncom.microsoft.datatransfer.bridge.parquet.ParquetWriterBridge.close(ParquetWriterBridge.java:29)\r\n,Source=Microsoft.DataTransfer.Common,''Type=Microsoft.DataTransfer.Richfile.JniExt.JavaBridgeException,Message=,Source=Microsoft.DataTransfer.Richfile.HiveOrcBridge,'", 
"failureType": "UserError", 
"target": "CopyMetDBTableToBlob" 
}

已测试使用 ASDF V2 复制活动将数据从本地 Oracle 和 Informix 复制到 Parquet 格式的 Azure Blob 存储，并且可以正常工作。只是内部部署 SQL Server 有问题

【问题讨论】：

标签： azure-data-factory azure-data-factory-2

【解决方案1】：

我不知道你是否已经检查过了，但是有一节是关于使用 parquet 文件格式和内部部署 IR。 https://docs.microsoft.com/en-us/azure/data-factory/format-parquet#using-self-hosted-integration-runtime

我不建议将 parquet 与数据工厂一起使用，因为它不会将数据集拆分为列的不同值（例如 Python 所做的那样）。在以这种格式上传大型数据集（30 GB 或更多）时，我也遇到了问题，对我来说总是有点问题。

除非我别无选择，否则我总是选择压缩的 csv。

希望这有帮助！

【讨论】：

【解决方案2】：

我遇到了类似的问题。事实证明，如果源表有任何带有空格的列名，则复制到镶木地板会失败。

所以在复制操作之前，我会检查是否有任何列名有空格。如果是，则不要在数据集中指定表名，而是使用查询并为列名编写带有别名的 select 语句，不带任何空格。

【讨论】：