发新帖

用TF训练CNN时loss一直乱跳可能有哪些情况

[复制链接]
1471 15

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
像图里这种乱跳的可能会是哪些情况呢,虽然迭代次数还比较少,但是没太看出有收敛的迹象
还有精度也是跳来跳去的
我知道答案 回答被采纳将会获得10 金币 + 5 金币 已有15人回答
Q1.jpg
本楼点评(1) 收起
  • yunhai_luo感觉可能性有点儿多,楼主如果不方便分享代码,希望至少多上点儿信息吧。比如特征和目标数据的取值范围、优化器、学习率等等。
    2018-5-5 01:44 回复

精彩评论15

M丶Sulayman  TF豆豆  发表于 2018-5-5 10:42:43 | 显示全部楼层
你还是贴出代码问吧,这样大家也看不出来啊
本楼点评(0) 收起
pjincz  TF荚荚  发表于 2018-5-6 21:38:32 | 显示全部楼层
尝试一下修改learn_rate吧,改小点试试
本楼点评(0) 收起
jellycsc  TF荚荚  发表于 2018-5-7 00:41:59 | 显示全部楼层
你用的是sgd吗?lr多少?
本楼点评(0) 收起
M丶Sulayman  TF豆豆  发表于 2018-5-7 13:02:47 | 显示全部楼层
学习率太大,也就是步子迈的太大,在最后收敛的时候一直在最低谷周围徘徊
本楼点评(0) 收起
ooon  TF荚荚  发表于 2018-5-7 13:46:34 | 显示全部楼层
不收敛的话,代码没问题的话,考虑下学习率吧
本楼点评(0) 收起
tking  TF荚荚  发表于 2018-5-9 20:41:29 | 显示全部楼层
可能的情况:
1、学习率过大
本楼点评(2) 收起
  • 舟3332其他几点在哪里~~~
    2018-5-9 21:46 回复
  • tking还有一种可能是用验证数据既做验证又做测试;或者验证数据与测试数据存在交叉。
    2018-5-10 00:43 回复
正觉(朔)  TF荚荚  发表于 2018-5-11 23:11:25 来自手机  | 显示全部楼层
要从训练模型,loss函数等多方面分析的,你这样单一维度谁知道在干什么。
本楼点评(0) 收起
TianLin  TF荚荚  发表于 2018-5-20 12:25:14 | 显示全部楼层
看你的x轴 (0--2000),还是刚刚开始训练。


一开始的模型是随机初始化的,loss看似随机是正常的。观察趋势还是下降的,应该设定更大的训练steps。观察更长的周期。不用太着急哈!
本楼点评(0) 收起
Assam  TF荚荚  发表于 2018-5-21 09:51:14 | 显示全部楼层
我也遇到了类似的问题,不知道楼主解决没有
本楼点评(0) 收起
winter  TF荚荚  发表于 2018-5-25 11:41:33 | 显示全部楼层
1. learning rate过大导致学习震荡:改小学习率试试,为了立竿见影,可用直接降低50倍
2. batch size过小,导致噪声严重:改大批次试试
3. loss函数不对:可以试试交叉熵等相对比较平滑的loss函数(之前我自己写的一些loss函数也有这种震荡问题,改为cross entropy就好了)
本楼点评(1) 收起
zhanys_7  TF荚荚  发表于 2018-7-3 18:32:04 | 显示全部楼层
可能是学习率太大了
本楼点评(0) 收起
zhanys_7  TF荚荚  发表于 2018-7-3 18:48:45 | 显示全部楼层
learn_rate 太高导致梯度下降不收敛?
本楼点评(0) 收起
ViolinSolo  TF豆豆  发表于 2018-7-3 19:03:13 | 显示全部楼层
原因有很多种:
1.学习率太高
2.没有做batch normalization
3.数据本身就有问题
等等。。。
本楼点评(0) 收起
ViolinSolo  TF豆豆  发表于 2018-7-3 19:53:25 | 显示全部楼层
其实可以看出来你的趋势是在收敛的,只不过收敛的会慢一点,如果你考虑增加epoch ,你就能看出区别了
本楼点评(0) 收起
ViolinSolo  TF豆豆  发表于 2018-7-3 19:54:03 | 显示全部楼层
但是还是强烈推荐对于图像这种较大的一个batch一定要normalize 或者归一化
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

主题

帖子

134

积分
快速回复 返回顶部 返回列表