使用 Scio 部署 DataFlow 作业

Question

我已经开始使用 Scala SDK Scio 开发我的第一个 DataFlow 作业。数据流作业将以流模式运行。

谁能建议最好的部署方式？我已经阅读了他们使用sbt-pack 的 Scio 文档，然后将其部署在 Docker 容器中。我还阅读了有关使用 DataFlow 模板的信息（但不是很详细）。

什么是最好的？

Answer 1

与 Java 和 Python 版本一样，您可以直接在 Dataflow 上运行您的代码，方法是使用数据流运行器并从您的计算机（或虚拟机/函数）启动它。

如果你想打包再利用，你可以创建一个模板。

你不能run custom container on Dataflow。