Talos 超参数搜索：如何在评估步骤中设置指标

Question

我想了解 talos 中的超参数搜索。特别是模型的评估。我正在浏览这个示例笔记本 https://nbviewer.jupyter.org/github/autonomio/talos/blob/master/examples/Hyperparameter%20Optimization%20with%20Keras%20for%20the%20Iris%20Prediction.ipynb#seven

不，我的问题是：在评估（7）中，如何设置具体的评估指标？例如。分类问题的 F1 分数。它们来自 Keras 还是 talos？如果不传递参数，默认是什么？我在 talos 文档中找不到它。我是不是忽略了什么？https://autonomio.github.io/docs_talos/#evaluate

Answer 1

Talos 中的评估使用 f1-score 和二元平均进行二元分类，宏平均用于 multi_label 和 multi_class，MAE 用于回归。这些来自 sklearn。

metric 参数是指您已在Scan() 实验中使用的任何指标，用于首先选择最佳模型进行评估。您可以在 Scan() 中使用任何 Keras 或自定义指标，就像使用 Keras 模型一样。