在 R 中使用 mxnet 对多个输出进行超参数调整答案

【问题标题】：Hyper parameter tuning for multiple Outputs using mxnet in R在 R 中使用 mxnet 对多个输出进行超参数调整
【发布时间】：2018-03-07 18:09:07
【问题描述】：

我目前尝试构建具有多个输出的 MLP。

对于单输出 MLP，我通常使用 H2o packge 实现，它实现了一个很好的随机网格搜索功能。由于 H2o 不支持多输出，我切换到 mxnet 包。

现在我正在尝试找到一种方法来调整我的 MLP 参数。我在 R 中找不到任何为多个输出提供参数调整并允许我使用 mxnet 的包。

你知道任何包或者你有用于超参数搜索的自我实现的功能吗？谢谢！

编辑原因：

对于多个输出，我的意思是多个响应变量（MIMO 问题）。例如，我的一项研究任务是预测 RRSB 分布。 RRSB 分布有两个参数：n,x。我希望这能解决你的问题

【问题讨论】：

【解决方案1】：

你考虑过插入符号吗？我认为它可能会这样做，因为它提供了超参数调整https://topepo.github.io/caret/model-training-and-tuning.html 并支持某些 mxnet 模型，但不确定是否支持具有多个输出的 MLP。

我个人使用网格或随机搜索方法，只需从与每个相关的可能值列表中采样所需参数。它涉及循环不同的超参数选择并记录每个配置性能。

【讨论】：

【解决方案2】：

This tutorial 解释了如何使用 MXNet 构建多层感知器，在这种特殊情况下，它有一个 Softmax 层作为最后一层，以将输入分类为 10 个不同类别之一（MNIST 问题）。

在您的情况下，我相信您想要的是一个具有 2 个单元的最终全连接层的 MLP，一个用于您尝试预测的每个变量。 Look here 的线性回归示例。您的损失函数需要适应您的具体问题。

【讨论】：