Dataproc 客户端：googleapiclient：获取集群中所有作业（运行、停止等）列表的方法

Question

我们正在使用 Google Cloud Dataproc 运行 sparkJobs。 我们需要获取与集群对应的所有作业及其状态的列表。

如果我知道job_id，我可以得到一个job的状态，如下所示

res = dpclient.dataproc.projects().regions().jobs().get(
           projectId=project, 
           region=region, 
           jobId="ab4f5d05-e890-4ff5-96ef-017df2b5c0bc").execute()

但是，如果我不知道job_id，并且想知道所有工作的状态怎么办

Answer 1

要列出集群中的作业，可以使用list() 方法：

clusterName = 'cluster-1'
res = dpclient.dataproc.projects().regions().jobs().list(
       projectId=project, 
       region=region, 
       clusterName=clusterName).execute()

但请注意，目前仅支持按仍然存在的集群列出；即使您传入了clusterName，这也将在后台解析为唯一的cluster_uuid；这也意味着如果您创建多个同名集群，每个化身仍被视为不同的集群，因此作业列表仅在当前运行的 clusterName 版本上执行。这是设计使然，因为 clusterName 经常被人们出于不同目的重用（特别是如果使用在 cloud.google.com/console 中创建的默认生成名称），并且从逻辑上讲，提交给不同实际集群实例的作业可能不相关彼此。

未来会有更多的职位列表过滤选项。