【pytorch】torch.cuda.empty_cache()==>释放缓存分配器当前持有的且未占用的缓存显存
发布日期:2021-07-01 02:26:41 浏览次数:2 分类:技术文章

本文共 499 字,大约阅读时间需要 1 分钟。

Pytorch 训练时无用的临时变量可能会越来越多,导致 out of memory ,可以使用下面语句来清理这些不需要的变量。

torch.cuda.empty_cache()

 上的解释为:

Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible invidia-smi. 

意思就是PyTorch的缓存分配器会事先分配一些固定的显存,即使实际上tensors并没有使用完这些显存,这些显存也不能被其他应用使用。这个分配过程由第一次CUDA内存访问触发的。

而 torch.cuda.empty_cache() 的作用就是释放缓存分配器当前持有的且未占用的缓存显存,以便这些显存可以被其他GPU应用程序中使用,并且通过 nvidia-smi命令可见。注意使用此命令不会释放tensors占用的显存

 

对于不用的数据变量,Pytorch 可以自动进行回收从而释放相应的显存。

 

转载地址:https://mapengsen.blog.csdn.net/article/details/117906219 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:add_argument函数action参数的store_true==》在运行程序添加参数时直接输入变量名,可以省略对应的默认值True或者False
下一篇:gc.collect()==>python的强制垃圾收集机制(不建议使用强制回收,因为可能导致错误)

发表评论

最新留言

表示我来过!
[***.240.166.169]2024年04月10日 10时29分24秒