【问题标题】:Azure Data Factory AWS PostgreSQL RDS as source connectionAzure 数据工厂 AWS PostgreSQL RDS 作为源连接
【发布时间】:2018-02-02 16:17:31
【问题描述】:

我正在尝试使用 AWS PostgreSQL RDS 实例作为数据工厂管道的源。我无法让此连接在 ADF v1 或 v2 中工作。我已经尝试了从使用 PostgreSQL 连接到 Azure PostgreSQL 数据库的所有方法。从本质上讲,我要从云到云,但似乎还不支持这种连接。有没有其他人有幸做到这一点?

【问题讨论】:

  • 我应该补充一点,我可以使用 ODBC 驱动程序、使用 pgAdmin4 和其他方式成功连接到我的 AWS PostgreSQL 实例。但事实证明,尝试使用 ADF 是不可能的。
  • 你能从 postgres 发布你的错误信息吗

标签: postgresql amazon-web-services amazon-rds azure-data-factory


【解决方案1】:

是的,正如您所发现的那样,这非常糟糕。两个主要问题:

1) 您必须安装 NpgSQL 2.0.14.3。驱动程序(选择核心安装选项以确保安装 x86 和 x64 版本)此版本不会验证服务器证书

2) PostgreSQL 连接器只能通过 PowerShell 上传来输入连接信息,当前 GUI 不支持数据源的完整配置:

这里是 json 示例:

{
    "name": "PostgreSqlLinkedService",
    "properties": {
        "type": "PostgreSql",
        "typeProperties": {
            "server": "<server>",
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

另外,ODBC 驱动程序可以解决此问题,因为您需要在 pg 连接器未公开的连接字符串上指定其他属性。您需要将以下值添加到 DSN: **sslmode=Require;Trust Server Certificate=true*

这应该可以解决错误

注意: ODBC 和 Postgresql 连接器当前与 ADF v2 查找活动一起使用。

【讨论】:

  • 看来这个 json 用于本地 PostgreSQL 连接,我试图连接到 AWS 中不需要集成运行时的连接。还是我错过了什么?
  • 是的,我相信您仍然需要 IR,但我认为您可以使用托管在 azure 中的默认设置。
  • 我从头开始,我相信我更接近了。在 V2 中,我创建了一个“自托管”IR。创建了“PostgreSql”类型的连接。将连接分配给创建的“自托管”IR。编辑高级字段中的 JSON 以复制您上面的内容。然后我测试连接并得到:UserError:'Type=Microsoft.Data.Mashup.MashupValueException,Message=PostgreSQL:我们无法找到具有不变名称'Npgsql'的数据库提供程序。此错误可能是由于需要提供特定于提供商的客户端软件造成的。但在这台计算机上找不到。
  • 我尝试使用集成运行时配置管理器诊断进行连接并得到相同的确切错误。无法连接到数据库。错误消息:PostgreSQL:我们无法找到具有不变名称“Npgsql”的数据库提供程序。此错误可能是由于需要提供特定于提供商的客户端软件,但此计算机上缺少该软件。要为此提供程序下载客户端软件,请访问以下站点并选择至少 64 位 (x64) 版本的“Npgsql 版本 2.0.12”:go.microsoft.com/fwlink/?LinkID=282716
  • 您需要下载并安装 npgsql 驱动确保您选择 gac 安装选项
猜你喜欢
  • 2021-05-08
  • 2023-01-31
  • 1970-01-01
  • 2023-01-04
  • 2015-01-29
  • 1970-01-01
  • 2021-01-14
  • 1970-01-01
  • 2021-12-15
相关资源
最近更新 更多