【NLP_模型超参数浅析】global_step
发布日期:2021-06-29 02:15:45
浏览次数:2
分类:技术文章
本文共 758 字,大约阅读时间需要 2 分钟。
2021/3/28:本人对global_step理解甚浅,以下内容仅是我发现问题、进行相关搜索后的小记录,可能存在错误之处,还请大神指正。
问题的由来
中,所用模型的的迭代次数似乎不可控(详见train.py)。
尝试搜索包含epoch, step, num等的关键词,加以修改,迭代次数均无变化,得到的只有一些报错信息。
随后,与计算机专业同学交流后,发现可能是因为包含“global_step”。
浅析global_step
可能正如所说(),global_step是不可自定义的,它只能算作一个自动加一的迭代计数器。
global_step记录的是train阶段每一步的索引,或者说是训练迭代的计数器,比如说在最后画loss和 accuracy的横坐标即是global_step
而其数值动态调整,可能是由衰减率等参数决定的()。
2021/3/29:新发现
就中的模型代码(train.py)而言,迭代次数可控。
关注代码中出现的for循环,这很可能决定了迭代次数。打印,查看其循环次数信息。
print("len(word_batch)",len(word_batch)) #50for i in range(len(word_batch)): ……
将下列for循环的循环次数自定义为50,即有50次迭代训练。
print("settings.num_epochs",settings.num_epochs) #10——此即当前迭代次数!for one_epoch in range(settings.num_epochs): ……
转载地址:https://blog.csdn.net/YWP_2016/article/details/115292617 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
做的很好,不错不错
[***.243.131.199]2024年04月23日 11时03分41秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Python微信公众号开发—小白篇
2019-04-29
Python公众号开发(二)—颜值检测
2019-04-29
Python爬取拉勾网并对其进行岗位分析
2019-04-29
Java实现小数点后保留两位
2019-04-29
Javascript保留两位小数
2019-04-29
2021-06-18Math.floor,Math.round,Math.ceil的区别
2019-04-29
浅谈计算密集型与IO密集型
2019-04-29
React基础入门(1)
2019-04-29
vue入门
2019-04-29
Cocos新手入门(1)
2019-04-29
vim编辑器的使用
2019-04-29
React基础入门(2)
2019-04-29
ES6表达式和字符串拓展
2019-04-29
cocos入门(2)
2019-04-29
Java第一个程序HelloWorld
2019-04-29
nginx启动成功,但是访问不了页面解决办法
2019-04-29
python使用pip install pygame安装错误ERROR: Exception: Traceback (most recent call last): File “d:\instal
2019-04-29
郝斌老师数据结构中关于链表插入一个节点的理解
2019-04-29
学习总结--混淆矩阵、准确率、精确率、召回率、PR曲线、mAP
2019-04-29