【问题标题】:can I use apache beam on aws glue?我可以在 aws 胶水上使用 apache 梁吗?
【发布时间】:2021-07-07 12:28:20
【问题描述】:

我有一个梁代码,可以在谷歌数据流上运行一些 etl 东西(从 pubsub 获取 gsp 上的文件路径)。

我的公司希望切换到 aws,并且该代码也需要移动(一开始只有代码会移动,然后我们会将 pubsub 和 gsp 更改为 aws 服务)。代码最后还需要更新 athena。

有没有办法在胶水(或其他可以完成这项工作的服务)中使用梁?我知道梁和胶水都支持火花,所以也许有什么?

谢谢!

【问题讨论】:

  • 您的意思是是否有适用于 AWS Glue 的 Apache Beam Runner?我不相信目前有一个。
  • 谢谢!你知道aws中可以运行流式Beam的最佳托管服务是什么吗?

标签: amazon-web-services apache-beam aws-glue


【解决方案1】:

您可以使用 Amazon Kinesis Data Analytics for Apache Flink 并使用托管 Flink 作为 Beam info here 的 runner

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-07-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-12-12
    • 1970-01-01
    • 2018-06-26
    相关资源
    最近更新 更多