发新帖

训练 Darknet19, loss 乱跳

[复制链接]
123 5

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
在 Imagenet1000 数据集上训练 YOLO9000 的特征提取器 Darknet19, loss 出现非正常震荡,求助各位大佬,这一般是什么原因造成的?

超参数设置为:
batch_size = 64      
decay_rate = 0.1
decay_steps = 50000
intializer_learning_rate = 0.009




ViolinSolo已获得悬赏 10 金币+10 金币

最佳答案

额 这个没用过,但是可以给你点建议: 1. 一般来说loss跳来跳去呢,,是学习率太高了,,然后收敛过头了,,所以要强行搬回来那种,但是这种虽然收敛的慢(因为一直跳嘛),但是整体趋势肯定是向下走的,,一般不会 ...
2018-12-01 16-07-15屏幕截图.png
本楼点评(0) 收起

精彩评论5

ViolinSolo  TF芽芽  发表于 2018-12-6 05:25:11 | 显示全部楼层
额 这个没用过,但是可以给你点建议:
1. 一般来说loss跳来跳去呢,,是学习率太高了,,然后收敛过头了,,所以要强行搬回来那种,但是这种虽然收敛的慢(因为一直跳嘛),但是整体趋势肯定是向下走的,,一般不会出现你这种半天也不下去也不上来这种。。
2. 我觉得你可以尝试更改一下超参再重新多训练几次看看结果哈,我不知道你多少个step才是一个epoch,我从来没自己尝试过去ImageNet那个数据集上去训练着。。
3. 我觉得你的这个decay step有点大了。。个人感觉哦,,
本楼点评(0) 收起
脚踏实地-脑洞大  TF荚荚  发表于 2018-12-6 16:59:34 | 显示全部楼层
不错
本楼点评(0) 收起
Polaris  TF荚荚  发表于 2018-12-6 19:22:04 | 显示全部楼层
谢谢你的指导@ViolinSolo,前天,我先随意挑选Imagnet 1000 classes 中的5个classes 训练神经网络,发现已经收敛啦 , 关于 decay_steps 的设置我也觉得有点大, 我把它改成了 (dataset_num /batch_size)=25000, 同时我把 decay_rate 改成了0.6 。 现在我还正在全部的1000 classes 数据集上训练 Darknet19.
本楼点评(0) 收起
ViolinSolo  TF芽芽  发表于 5 天前 | 显示全部楼层
Polaris 发表于 2018-12-6 19:22
谢谢你的指导@ViolinSolo,前天,我先随意挑选Imagnet 1000 classes 中的5个classes  ...

恩恩 反正我发现这个最近有点玄学,,最近不是又出了什么奇奇怪怪的学习率策略,哈哈哈 你可以研究下,比如先学习率预热然后在做筛选啥的,,我还是觉得预训练才是王道,,,这样收敛的很有成效哈哈哈
本楼点评(0) 收起
Polaris  TF荚荚  发表于 4 天前 | 显示全部楼层
对,我觉得预训练真的很重要,之前看 vgg16 的论文,作者也是先训练简化版的vgg, 训练好了以后,再从这个简化版的vgg 的基础上训练完整版的 vgg16.@ViolinSolo
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

主题

帖子

4

积分
快速回复 返回顶部 返回列表