如何在 Flux.jl 中初始化权重

【问题标题】：How to initialize weights in Flux.jl如何在 Flux.jl 中初始化权重
【发布时间】：2021-06-26 18:56:18
【问题描述】：

我想为模型中的特定层初始化一些权重和偏差。 Flux.jl 怎么可能？

【问题讨论】：

【解决方案1】：

Dense 和Conv 等大多数层函数都包含权重和偏差。您可以通过执行 ? Dense 或 ? Conv 查看每个函数的定义，例如，可以通过执行以下操作使用权重和条形简单调用 Dense 函数：Dense(W::AbstractMatrix, [bias, σ]) 和 Conv 函数，像这样：

  julia> weight = rand(3, 4, 5);
  
  julia> bias = zeros(5);
  
  julia> c1 = Conv(weight, bias, sigmoid)  # expects 1 spatial dimension
  Conv((3,), 4=>5, σ)

其中sigmoid 是 sigmoid 函数的语法糖，通常表示为 σ()。

【讨论】：