L2正则和权值衰减的区别 L2 Regulation vs Weight Decay
发布日期：2021-11-21 04:41:11
浏览次数：39
分类：技术文章
本文共 645 字，大约阅读时间需要 2 分钟。
对于L2 Regulation 和 Weight Decay，假设原来的损失函数是 f f f,
对于有Weight Decay的参数更新规则如下：
θ t + 1 = θ t − α ∇ f t ( θ t ) − λ θ t , \theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t}, θt+1=θt−α∇ft(θt)−λθt,
其中 λ \lambda λ是权值衰减的系数， α \alpha α是学习率。对于有L2 Regulation的参数更新规则如下：
θ t + 1 = θ t − α ∇ f ( θ t ) − α λ ′ θ t , \theta_{t+1}=\theta_{t}-\alpha \nabla_{f}\left(\theta_{t}\right)- \alpha\lambda^{\prime} \theta_{t}, θt+1=θt−α∇f(θt)−αλ′θt,
其中 λ ′ \lambda^{\prime} λ′是L2正则的系数。可见，只有当 λ = α λ ′ \lambda=\alpha\lambda^{\prime} λ=αλ′，即 λ ′ = λ / α \lambda^{\prime}=\lambda/\alpha λ′=λ/α时，L2 Regulation 和 Weight Decay在数值上才是完全等价的。
转载地址：https://blog.csdn.net/xiaojiajia007/article/details/104045066 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！
发表评论
最新留言
感谢大佬
[***.8.128.20]2024年04月14日 06时14分14秒
关于作者
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
-- 愿君每日到此一游！
推荐文章
初步使用 JFreeChart 生成报表与感受
2019-04-27
前端使用 BootStrap 写一些后台常用的界面
2019-04-27
使用 SpringBoot + Ckeditor 富文本编辑器、图片上传
2019-04-27
全栈式使用 SpringBoot + SpringSecurity 做登录认证
2019-04-27
[Java爬虫] 使用 Jsoup + HttpClient 爬取网页图片
2019-04-27
使用 Git 并借助 Eclipse + Coding 合作开发项目
2019-04-27
[Java爬虫] 使用 Xpath + HtmlUnit 爬取网页基本信息
2019-04-27
[人工智能] 使用百度 API 读取身份证照片的文字
2019-04-27
在SpringBoot中使用【阿里云OSS对象存储】存取图片
2019-04-27
[Java爬虫] 使用 HtmlUnit + Xpath 模拟点击、动态获取信息
2019-04-27
使用 SpringBoot 之 JPA 整合 Redis 实现缓存
2019-04-27
SpringBoot 结合 JSR303 对前端数据进行校验
2019-04-27
[Python爬虫] 模拟浏览器、代理ip、开启日志、超时处理、异常处理、登录、下载图片
2019-04-27
《学习 Go 语言》学习心得
2019-04-27
[汇编语言] 带有颜色的字符串显示（hello world 级别程序）
2019-04-27
[增删改查] Python 之使用 Django + LayUI 做后台管理
2019-04-27
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 307805514 位访客
访问时间: 2024-04-25 12:14:14
访问IP: 18.119.253.93
Copyright © 2020 - 2023 blog.css8.cn 京ICP备2021015314号-1
手机版