【问题标题】:Synapse LINK Load streaming DataFrame from Azure Cosmos DB containerSynapse LINK 从 Azure Cosmos DB 容器加载流数据帧
【发布时间】:2021-01-28 19:22:09
【问题描述】:

我正在尝试在突触上使用提要更改,我正在使用突触链接连接到 cosmos,

dfStream = spark.readStream\
    .format("cosmos.oltp")\
    .option("spark.synapse.linkedService", "<enter linked service name>")\
    .option("spark.cosmos.container", "<enter container name>")\
    .option("spark.cosmos.changeFeed.readEnabled", "true")\
    .option("spark.cosmos.changeFeed.startFromTheBeginning", "true")\
    .option("spark.cosmos.changeFeed.checkpointLocation", "/localReadCheckpointFolder")\
    .option("spark.cosmos.changeFeed.queryName", "streamQuery")\
    .load()

但我收到以下错误:

Error : org.apache.hadoop.fs.azurebfs.contracts.exceptions.AbfsRestOperationException: Operation failed: "This request is not authorized to perform this operation using this permission.", 403, DELETE, https://adlsgarage7.dfs.core.windows.net/adlsgarage7/localReadCheckpointFolder/streamQuery?

【问题讨论】:

    标签: azure azure-cosmosdb azure-synapse


    【解决方案1】:

    您需要作为参与者访问在创建时已连接到工作区的数据湖帐户的容器的权限。您需要 Blob Storage Contributor 对帐户 adlsgarage7 或至少容器 adlsgarage7 的 ARM 访问权限。

    您还应该确保写下您连接到的链接服务的名称和容器。

    【讨论】:

      猜你喜欢
      • 2020-06-23
      • 2021-12-13
      • 1970-01-01
      • 2021-09-19
      • 2022-09-28
      • 2021-01-05
      • 2020-02-09
      • 2020-12-27
      • 2021-10-18
      相关资源
      最近更新 更多