【NLP_模型超参数浅析】global_step
发布日期:2021-06-29 02:15:45 浏览次数:2 分类:技术文章

本文共 758 字,大约阅读时间需要 2 分钟。

2021/3/28:本人对global_step理解甚浅,以下内容仅是我发现问题、进行相关搜索后的小记录,可能存在错误之处,还请大神指正。


问题的由来

 中,所用模型的的迭代次数似乎不可控(详见train.py)。

train.py文件中的global_step定义

 

train.py文件中的global_step使用

 

尝试搜索包含epoch, step, num等的关键词,加以修改,迭代次数均无变化,得到的只有一些报错信息。

随后,与计算机专业同学交流后,发现可能是因为包含“global_step”。


浅析global_step

可能正如所说(),global_step是不可自定义的,它只能算作一个自动加一的迭代计数器。

global_step记录的是train阶段每一步的索引,或者说是训练迭代的计数器,比如说在最后画loss和 accuracy的横坐标即是global_step

而其数值动态调整,可能是由衰减率等参数决定的()。

 


2021/3/29:新发现

中的模型代码(train.py)而言,迭代次数可控。

关注代码中出现的for循环,这很可能决定了迭代次数。打印,查看其循环次数信息。

print("len(word_batch)",len(word_batch)) #50for i in range(len(word_batch)):                    ……

 

将下列for循环的循环次数自定义为50,即有50次迭代训练。

print("settings.num_epochs",settings.num_epochs) #10——此即当前迭代次数!for one_epoch in range(settings.num_epochs):                ……

 

 

 

 

转载地址:https://blog.csdn.net/YWP_2016/article/details/115292617 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:【实验记录与总结】名称+数量+地理位置实体提取
下一篇:【NLP_向量表示】使用Word2Vec训练字向量

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2024年04月23日 11时03分41秒