【问题标题】:Does AWS Glue Scheme Registry support being used as Flink SQL Catalog?AWS Glue Scheme Registry 是否支持用作 Flink SQL 目录?
【发布时间】:2022-10-20 00:57:08
【问题描述】:

AWS Schema Registry 是否支持在 Flink SQLK 应用程序中用作 SQL 目录?例如,documentation 显示了使用 Hive 目录的示例:

CREATE CATALOG hive WITH (
'type'='hive',
'property-version'='1',
'hive-version'='2.3.6',
'hive-conf-dir'='/opt/hive-conf'
);

然后可以在应用程序中使用该目录中定义的表,而无需 CREATE TABLE 语句,例如然后我可以这样做:

SELECT * FROM hive.`default`.my_table

我想做的是:

CREATE CATALOG awsglue WITH (
...  some config here
);

这是否受支持,是否有任何示例或文档显示其用途?

【问题讨论】:

    标签: amazon-web-services apache-flink aws-glue flink-sql


    【解决方案1】:

    我认为你正在寻找的是这样的:

    CREATE CATALOG some_catalog WITH (
        'type'='iceberg',
        'warehouse'='s3://your_bucket/iceberg-test',
        'catalog-impl'='org.apache.iceberg.aws.glue.GlueCatalog',
        'io-impl'='org.apache.iceberg.aws.s3.S3FileIO')
    

    其他详细信息:https://iceberg.apache.org/docs/latest/aws/

    【讨论】:

      猜你喜欢
      • 2022-01-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-01-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多