发新帖

为什么会有这样的曲线?

[复制链接]
1876 7
最近在做一个OCR识别的训练,昨晚下班前,生成了一版数据,准备跑一晚上。

结果早上充满期待的打开电脑,发现了这样的曲线:



loss值已经收敛到0.08,识别成功率到达95%,但是好像突然间重头开始训练了一样。

用类似的数据训练这个模型已经有十几次了,没有发生这样的情况。百思不得其解。
TianLin已获得悬赏 10 金币+10 金币

最佳答案

这是深度学习模型中的正常现象。深度学习模型的参数空间很大,实际问题常常也比较复杂(非凸的)。 优化过程中:可能在训练时,先落入某个损失函数的局部极小值(local minima);在几次迭代之后,跳出这个局部区域 ...

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
本楼点评(2) 收起
  • yunhai_luo一般来说,损失出问题的情况下,调整学习率是常见的手段,楼主当然可以试试。不过就你这种情况,如果确实不是随机个例, 那么个人只看见过几次说Adam优化器可能有这样的现象,不确定是否适用于楼主的情况。下面这个链接算是解释比较清楚的一次:

    https://stackoverflow.com/questions/42327543/adam-optimizer-goes-haywire-after-200k-batches-training-loss-grows#answer-42420014

    如果楼主解决了,希望能分享解决过程学习一下,谢谢!
    2018-5-17 13:47 回复
  • tensorfyx感谢,我先尝试修改一下学习率试试。
    2018-5-17 14:06 回复

精彩评论7

TianLin  TF荚荚  发表于 2018-5-20 12:15:35 | 显示全部楼层
这是深度学习模型中的正常现象。深度学习模型的参数空间很大,实际问题常常也比较复杂(非凸的)。
优化过程中:可能在训练时,先落入某个损失函数的局部极小值(local minima);在几次迭代之后,跳出这个局部区域;重新到达另一个极小值(可能会是全局最小值)。

你现在TensorBoard展示的指标应该是cost (loss 损失函数)的值,你同时也可以观测一下accuracy等识别准确度指标,看是否在上升。通常训练收敛之后,选择一个效果最好的模型就可以了。
本楼点评(0) 收起
Bingohong  TF荚荚  发表于 2018-7-3 16:39:15 | 显示全部楼层
头一次见这么有趣的cost变化。mark下
本楼点评(0) 收起
tensorfyx  TF豆豆  发表于 2018-7-3 17:30:53 | 显示全部楼层
经过多次训练,没有再出现过这种情况。感谢TianLin的答案。
本楼点评(0) 收起
ves  TF荚荚  发表于 2018-7-4 20:49:52 | 显示全部楼层
感谢TianLin的分享
本楼点评(0) 收起
ViolinSolo  TF芽芽  发表于 2018-7-5 00:15:13 | 显示全部楼层
囧,学习了,局部最优是真的可怕。。。陷入了局部最优,导致整体训练会崩溃hhh
本楼点评(0) 收起
hopelg  TF荚荚  发表于 2018-7-6 09:12:27 | 显示全部楼层
还是要好好从原理上分析
本楼点评(0) 收起
kdongyi  TF荚荚  发表于 2018-7-15 17:12:45 | 显示全部楼层
这应该是训练次数不够
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

快速回复 返回顶部 返回列表