【发布时间】:2021-07-07 12:28:20
【问题描述】:
我有一个梁代码,可以在谷歌数据流上运行一些 etl 东西(从 pubsub 获取 gsp 上的文件路径)。
我的公司希望切换到 aws,并且该代码也需要移动(一开始只有代码会移动,然后我们会将 pubsub 和 gsp 更改为 aws 服务)。代码最后还需要更新 athena。
有没有办法在胶水(或其他可以完成这项工作的服务)中使用梁?我知道梁和胶水都支持火花,所以也许有什么?
谢谢!
【问题讨论】:
-
您的意思是是否有适用于 AWS Glue 的 Apache Beam Runner?我不相信目前有一个。
-
谢谢!你知道aws中可以运行流式Beam的最佳托管服务是什么吗?
标签: amazon-web-services apache-beam aws-glue