多态名义变量建模

Question

我在阅读有关神经网络的文章时发现： “多态标称变量更难处理。ST 神经网络具有转换两态和多态标称变量以用于神经网络的设施。不幸的是，具有大量状态的标称变量需要one-of-N 编码的数值变量数量过多，从而增加了网络大小并使训练变得困难。在这种情况下，可以（尽管不令人满意）使用单个数值索引对标称变量进行建模；更好的方法是寻找一种不同的方式来表示信息。”

这正是我构建输入层时发生的情况。 N 之一编码使模型的设计变得非常复杂。但是，上面提到您可以使用数字索引，我不确定他/她的意思。表示信息的更好方法是什么？神经网络可以解决多态名义变量的问题吗？

参考资料： http://www.uta.edu/faculty/sawasthi/Statistics/stneunet.html#gathering

Answer 1

解决此任务对于建模通常至关重要。根据这个名义变量分布的复杂性，在它的值和 R^n 之间找到一个合适的嵌入似乎非常重要。

这种嵌入最成功的例子之一是 word2vec，其中获得了单词和向量之间的函数。在其他情况下 - 您应该使用现成的解决方案（如果存在）或通过表征学习（例如通过自动编码器或 RBM）准备您自己的解决方案。