【发布时间】：2022-01-07 12:39:12
【问题描述】：
我想知道在训练过程中训练表现如何变化。有没有办法通过 Vertex AI automl 服务访问它？
【问题讨论】：
标签： google-cloud-platform google-cloud-vertex-ai
【发布时间】：2022-01-07 12:39:12
【问题描述】：
很遗憾，在培训过程中无法查看培训表现。 Vertex AI Auto ML 仅显示训练作业是否正在运行。
唯一可用的信息是“训练后模型在测试集上的表现如何”。这可以在 AutoML 的“评估”选项卡中看到。您可以参考Vertex AI Auto ML Evaluation 了解更多信息。
AutoML 提供了evaluation metrics，可以帮助您确定模型的性能。一些评估指标是精确度、召回率和置信度阈值。这些取决于您使用的 AutoML 产品。
例如，如果您有一个图像分类模型，以下是可用的评估指标：
- AuPRC：精确召回 (PR) 曲线下的面积，也称为平均精确度。该值的范围从零到一，其中 值越高表示模型质量越高。
- 对数损失：模型预测和目标值之间的交叉熵。这范围从零到无穷大，其中较低的值 表示更高质量的模型。
- 置信度阈值：确定要返回哪些预测的置信度分数。模型返回在此的预测 值或更高。较高的置信度阈值会提高精度，但 降低回忆。 Vertex AI 以不同的方式返回置信度指标 阈值来显示阈值如何影响精度和 回忆。
- 召回：模型正确预测的此类预测的分数。也称为真阳性率。精度： 模型产生的分类预测的一部分 正确。
- 混淆矩阵：混淆矩阵显示模型正确预测结果的频率。对于错误预测的结果， 矩阵显示了模型预测的内容。混淆矩阵 帮助您了解您的模型在哪里“混淆”了两个结果。
【讨论】：