欢迎您访问 广东某某电缆桥架有限公司官方网站

昆仑简介 联系我们 网站地图

欢迎来电咨询

13988888888

新闻资讯

全国服务热线

13988888888

技术过硬,据实报价

新闻动态

当前位置: 主页 > 新闻资讯 > 新闻动态

[莫烦 PyTorch 系列教程] 3.6 – 优化器 (Optimizer)

2024-09-09 13:20 已有人浏览 佚名

这节内容主要是用 Torch 实践几种优化器, 这几种优化器具体的优势不会在这个节内容中说了, 所以想快速了解的话, 上面的那个动画链接是很好的去处.

下图就是这节内容对比各种优化器的效果:

为了对比各种优化器的效果, 我们需要有一些数据, 今天我们还是自己编一些伪数据, 这批数据是这样的:

为了对比每一种优化器, 我们给他们各自创建一个神经网络, 但这个神经网络都来自同一个 Net?形式.

接下来在创建不同的优化器, 用来训练不同的网络. 并创建一个 loss_func用来计算误差. 我们用几种常见的优化器, SGD?, Momentum?, RMSprop?, Adam?.

接下来训练和 loss 画图.

SGD? 是最普通的优化器, 也可以说没有加速效果, 而 MomentumSGD的改良版, 它加入了动量原则. 后面的 RMSprop又是 Momentum的升级版. 而 Adam又是 RMSprop的升级版. 不过从这个结果中我们看到, Adam的效果似乎比 RMSprop要差一点. 所以说并不是越先进的优化器, 结果越佳. 我们在自己的试验中可以尝试不同的优化器, 找到那个最适合你数据/网络的优化器.

所以这也就是在我?github 代码?中的每一步的意义啦.

文章来源:莫烦

本站微信群、QQ群(三群号 726282629):

TAG: me in 优化

与[莫烦 PyTorch 系列教程] 3.6 – 优化器 (Optimizer)相关的其他内容

平台注册入口