我正在尝试构建一个用户能够将文件上传到云存储的应用程序。然后，这将触发模型训练过程（并稍后进行预测）。最初我虽然可以使用云函数/pubsub 和 cloudml 来执行此操作，但似乎云函数无法触发 cloudml 所需的 gsutil 命令。
我唯一的选择是启用 cloud-composer 并将 GPU 连接到 kubernetes 节点并创建一个云函数来触发一个 dag 以在具有 GPU 的节点上启动一个 pod 并使用数据安装存储桶吗？好像有点过分了，不过暂时想不出别的办法了。
【问题讨论】：
标签： google-cloud-platform google-cloud-functions google-kubernetes-engine
你是对的。就目前而言，不可能从Google Cloud Function 执行gsutil 命令：
Cloud Functions 可以用 Node.js、Python、Go 和 Java 编写，并在特定语言的运行时中执行。
我真的很喜欢你使用triggering the DAG 的第二种方法。 我想到的另一个想法是使用 Compute Engine Pyhton API 通过 Python 运算符与 Cloud Composer 中的 GCP 虚拟机交互。您可以在自动化基础架构和深入技术深入了解 Cloud Composer here 的核心功能方面找到更多信息。
您可以想到的另一个解决方案是 Kubeflow，它旨在让 Kubernetes 上运行 ML 工作负载。 Kubeflow 向您的集群添加了一些资源以协助完成各种任务，包括训练和服务模型以及运行 Jupyter Notebooks。请查看Codelabs tutorial。
希望以上信息对您有用。
【讨论】：