【发布时间】:2020-07-06 18:13:00
【问题描述】:
我想知道当前的深度学习框架是否可以执行项目梯度下降。
【问题讨论】:
标签: tensorflow keras deep-learning mathematical-optimization gradient-descent
我想知道当前的深度学习框架是否可以执行项目梯度下降。
【问题讨论】:
标签: tensorflow keras deep-learning mathematical-optimization gradient-descent
在 PyTorch、TensorFlow 和 Python 中有可用于投影梯度下降的实现。您可能需要根据您的模型、损失等稍微更改它们。
PyTorch:https://gist.github.com/oscarknagg/45b187c236c6262b1c4bbe2d0920ded6
TensorFlow:https://www.tensorflow.org/api_docs/python/tf/compat/v1/train/ProximalGradientDescentOptimizer(tensorflow,这可能更容易使用,您可以将其用作 tensorflow 优化器,而无需自己实际处理脏梯度)
Python:https://github.com/amkatrutsa/liboptpy(约束优化部分)
【讨论】: