【问题标题】:How to map multiple sources to a single target in a AWS Glue Job如何将多个源映射到 AWS Glue 作业中的单个目标
【发布时间】:2019-01-24 00:51:57
【问题描述】:

我有一个 MySQL 数据库和一个 Mongo 数据库,它们组合包含 200 个表,我正在尝试将其连接到 Glue 并将一些表合并在一起,最终得到 20 个合并数据表以及一些过滤器和脚本在这些数据到达它需要的地方之前。

我正在使用 AWS Glue 来执行此操作,在使用爬虫生成 1-1 个表后,我想开始将这些表合并在一起,但是当我创建作业时,我只能选择一个表作为源,这意味着我最终会得到 200 个工作岗位。

有没有办法让我的工作指向多个来源并将它们映射到一个表格,如下面的屏幕截图所示?

我应该改用其他工具还是在其他地方执行该步骤(即使用 DMS 并为爬虫生成另一个目的地?)

【问题讨论】:

    标签: amazon-web-services aws-glue aws-dms


    【解决方案1】:

    您应该使用代码级方法来执行此操作,方法是将每个表映射到单独的数据帧/动态帧,并将这些帧连接在一起,并使用 applymapping 函数将其与目标架构一起打印/映射出来。这是一个使用 pyspark 连接或合并两个表的明确示例:Join two data frames, select all columns from one and some columns from the other

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-10-20
      • 1970-01-01
      • 1970-01-01
      • 2018-08-07
      • 1970-01-01
      • 1970-01-01
      • 2016-08-14
      相关资源
      最近更新 更多