Vertex AI 自定义容器批量预测

Question

我创建了一个用于预测的自定义容器并成功地将模型上传到 Vertex AI。我还能够将模型部署到端点并成功地从端点请求预测。在自定义容器代码中，我使用here 所述的parameters 字段，然后在发出在线预测请求时提供该字段。 我的问题是关于从自定义容器请求批量预测以进行预测。

1. 我找不到任何文档来描述当我请求批量预测时会发生什么。例如，我使用 Python SDK 中的my_model.batch_predict 函数并将instances_format 设置为“csv”并提供gcs_source。现在，我已经将我的自定义容器设置为在/predict 处期待预测请求，如documentation 中所述。 Vertex AI 是否向该路径发出 POST 请求，将 cvs 数据转换为适当的 POST 正文？

2. 如何像在线预测一样为批量预测指定parameters 字段？

Answer 1

1. 是的，顶点 AI 在批量预测中向您的自定义容器发出 POST 请求。

2. 不，批量预测无法传递parameter，因为我们不知道哪一列是“参数”。我们将所有内容都放入“实例”中。