【问题标题】:Move data from multiple Azure tables to cosmosdb using Azure data factory使用 Azure 数据工厂将数据从多个 Azure 表移动到 cosmosdb
【发布时间】:2023-04-11 06:07:01
【问题描述】:

我正在使用 Azure 数据工厂 V2 将数据从 Azure 表存储迁移到 Azure cosmosDb sql Api。 在我的订阅下,我有多个表,我想将其中的内容移动到 cosmosDb。 所有表格都具有相同的格式。我可以通过为单个表创建复制活动来复制数据。 表的名称不是静态的(无法猜测),因为它们是每个用户的,并且取决于用户 ID,例如 Table_UserID。

我查看了 ADF 的“查找”和“Foreach”活动,但似乎查找活动在特定源表中工作以获取内容。

寻求有关如何遍历所有表并复制数据的帮助。

【问题讨论】:

    标签: azure azure-cosmosdb azure-data-factory


    【解决方案1】:

    您可以使用参数化查询来执行此活动。

    在 ADF 复制活动中,您可以添加脚本以将表从 Azure 表存储复制到您的 Cosmos Sink

    您可以使用以下两个链接来制定您的管道:

    1. Copy Bulk Data in ADF
    2. Using Cosmos DB as Sink in ADF

    【讨论】:

    • 嗨@Scooby:如果我的回复对您有所帮助,您能否将其标记为答案,以便我们可以让社区中的其他人从中受益:)。谢谢!
    • 感谢您的回答。我已经看到从多个“SQL”表复制的这个和其他示例。我正在从多个 Azure 表(Azure 表存储)复制。我面临的主要问题是“如何获取表名”,因为这个查询是您发送的链接上显示的仅适用于 SQL。
    • 好的,您可以尝试使用 ADF 中的 Lookup Activity 来一张一张地提取表格吗?
    • 这是最初的问题。如何在 ADF 中使用 Lookup Activity 从 Azure 表存储中获取所有表名。
    【解决方案2】:

    好吧,我在同一条船上寻找解决方案。发现在表存储的情况下查找没有帮助,我们必须用 Web Activity 替换查找活动并查询表存储 rest api https://docs.microsoft.com/en-us/rest/api/storageservices/query-tables?WT.mc_id=AZ-MVP-5003556 它返回表名列表然后循环响应。希望对您有所帮助。

    【讨论】:

      猜你喜欢
      • 2015-12-17
      • 2021-10-13
      • 2019-09-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-08-18
      • 2023-03-14
      • 2020-03-11
      相关资源
      最近更新 更多