请选择 进入手机版 | 继续访问电脑版

 找回密码
 立即注册
搜索
查看: 2748|回复: 1

优化神经网络训练方法有哪些?

[复制链接]

3

主题

3

帖子

12

积分

新手上路

Rank: 1

积分
12
发表于 2022-9-6 10:21:58 | 显示全部楼层 |阅读模式
优化神经网络训练方法有哪些?
回复

使用道具 举报

2

主题

428

帖子

1307

积分

金牌会员

Rank: 6Rank: 6

积分
1307

论坛元老

发表于 2022-9-26 09:15:00 | 显示全部楼层
1、考虑换一种学习率 schedule
2、在 DataLoader 中使用多个 worker 和页锁定内存
3、把 batch 调到最大
4、使用自动混合精度(AMP)
5、考虑使用另一种优化器
6、cudNN 基准
7、小心 CPU 和 GPU 之间频繁的数据传输
8、使用梯度 / 激活 checkpointing
9、使用梯度积累
10、使用分布式数据并行进行多 GPU 训练
11、设置梯度为 None 而不是 0
12、使用. as_tensor() 而不是. tensor()
13、必要时打开调试工具
14、使用梯度裁剪
15、在 BatchNorm 之前关闭 bias
16、在验证期间关闭梯度计算
17、使用输入和 batch 归一化
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

粤ICP备20017043号|小黑屋|手机版|Archiver|轮趣科技(东莞)有限公司  

GMT+8, 2024-3-29 01:43 , Processed in 0.053839 second(s), 22 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表