人工智能算法模型必会之——正则化方法综述
发布日期:2021-06-27 04:05:34 浏览次数:44 分类:技术文章

本文共 473 字,大约阅读时间需要 1 分钟。

 

什么是正则化?

首先英文原文为regularization,直译应为规则化,简单来说就是对模型加入规则,加入我们的先验知识,如果觉得正则化太难理解,可以按照规则化来理解记忆。

切入正题,正则化说的就是对模型引入额外信息来防止模型过拟合与提高模型泛化性能的方法统称。一般是对模型复杂程度加以惩罚,目标是降低模型的复杂度(模型的结构化风险),根据奥卡姆剃刀原理,精度靠谱的情况下越简单的模型是越值得选择的模型。

从贝叶斯角度来看,正则化是对模型加了一个先验概率,常用的L1正则化属于拉普拉斯分布先验,L2属于正态分布先验。

常用的正则化方法有哪些?

  • 直接限制模型参数的方法:
  1. L1,L2等惩罚项
  2. 参数共享
  3. 多任务学习(此方法也用到了参数共享)
  • 从数据集入手的方法:
  1. 增加噪音
  • 对输入数据
  • 对隐层权重
  • 对输入目标

b.增大数据集

c.重采样

  • 集成化方法(通过训练多个不同的模型,并让所有模型一起表决测试集的输出):
  • bagging
  • dropout
  • 其他:
  • early stop
  • 交叉验证(bagging为又放回采样,而交叉验证可以理解为无放回模型平均)

转载地址:https://blog.csdn.net/weixin_42137700/article/details/97622672 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:南京大学潘天群教授:人类智能发展的宏大叙事
下一篇:环球博览|中国六代机有望5年内问世

发表评论

最新留言

路过,博主的博客真漂亮。。
[***.116.15.85]2024年03月06日 18时20分02秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

开发优势_小程序开发优势好处有哪些 2019-04-21
4光影补丁_我的世界seus光影包 2019-04-21
aria手机下载_Aria2App 2019-04-21
汇编指令msr_ARM汇编:MRS和MSR指令 2019-04-21
慕课python第五周测试答案_中国大学MOOC(慕课)_python+_满分章节测试答案 2019-04-21
lsof查看占用高_lsof解决磁盘占用过高,查询却无大文件处理一例! 2019-04-21
python调用oracle过程 权限不足_oracle-存储过程提示 ORA-01031: 权限不足 2019-04-21
java ee6教程_Java EE 极简教程(六):框架的选择 2019-04-21
java io流过滤流_IO流分类详细介绍和各种字节流类介绍与使用 过滤流 字节流 2019-04-21
java预处理指令_Java程序员学C++_1_C++中的预处理命令 | 学步园 2019-04-21
java分词支持拼音_java 支持分词的高性能拼音转换工具,速度是 pinyin4j 的两倍... 2019-04-21
java中的%不对 如何处理_Java心得--异常及其处理 2019-04-21
java 上传速度计算_java常见3种文件上传速度对比和文件上传方法详细代码 2019-04-21
java 中区分月份_输入一年当中的月份,判断是哪个季节.(用java编写并且用到了import java.io.*;)... 2019-04-21
java 试图模版_图解Java设计模式之模板模式 2019-04-21
java.exe占用cpu_Windows服务器java.exe占用CPU过高问题分析及解决 2019-04-21
支付宝 java 乱码_支付宝即时到账接口中文乱码问题 2019-04-21
java中的handler理解_handler 与message的一些理解 2019-04-21
JAVA礼物题_这些Java面试题,你一定要记住! 2019-04-21
java 隐藏email_java Email 2019-04-21