发新帖

使用tensorflow进行回归训练遇到问题,求解答

[复制链接]
772 8

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
我使用一个五层的网络来训练我的回归模型,每层conv后面有一个relu,每两层conv后有一个最大池化,最后一层全连接使用sigmoid激活,dropout=0.35.现在遇到的问题是我的loss值从开始一直处于一个震荡的情况,值在0.1-0.07之间浮动,偶尔会超出这个范围,训练集是3w+张128x128没有经过预处理的彩色图像,跑20次epoch。我试过加bn跟改学习率跟优化函数,但是效果不明显。想问一下有没有什么建议可以改进一下网络结构使其收敛。(我的数据来自于原图像切块,每一张原图随机切割出50个小块,每块128x128大小)
舟3332已获得悬赏 10 金币+10 金币

最佳答案

首先要看看这个问题神经网络的东西是否能学出来。然后多改改别的参数。比如说 filter 个数,加几个 dense 层之类的。
本楼点评(0) 收起

精彩评论8

舟3332  TF芽芽  发表于 2018-6-8 21:49:26 来自手机  | 显示全部楼层
首先要看看这个问题神经网络的东西是否能学出来。然后多改改别的参数。比如说 filter 个数,加几个 dense 层之类的。
本楼点评(0) 收起
Assam  TF荚荚  发表于 2018-6-8 22:31:12 | 显示全部楼层
舟3332 发表于 2018-6-8 21:49
首先要看看这个问题神经网络的东西是否能学出来。然后多改改别的参数。比如说 filter 个数,加几个 dense  ...

请问一下,什么叫是否能学出来,是是指权重跟偏置吗?
本楼点评(0) 收起
jellycsc  TF荚荚  发表于 2018-6-8 22:52:06 | 显示全部楼层
learning rate是不是太大?
本楼点评(0) 收起
Will  TF荚荚  发表于 2018-6-8 23:00:20 来自手机  | 显示全部楼层
jellycsc 发表于 2018-6-8 22:52
learning rate是不是太大?

应该不是吧,0.1-0.0001都试了,指数衰减也试了
本楼点评(0) 收起
舟3332  TF芽芽  发表于 2018-6-9 07:10:50 来自手机  | 显示全部楼层
Assam 发表于 2018-6-8 22:31
请问一下,什么叫是否能学出来,是是指权重跟偏置吗?

就是说这个问题是否是一个神经网络的东西能解决的问题。有很多问题神经网络都无法解决。
本楼点评(0) 收起
nkcr7  TF荚荚  发表于 2018-6-9 12:22:41 | 显示全部楼层
看一下是不是权重随机初始化的大小不合适
本楼点评(0) 收起
重庆不热  TF荚荚  发表于 2018-7-3 16:18:45 | 显示全部楼层
可以试试对图片进行归一化处理
本楼点评(0) 收起
fantasycheng  TF荚荚  发表于 2018-7-3 16:32:00 | 显示全部楼层
你这是回归模型的话,为什么最后还要用一个sigmoid函数。你的损失函数又是怎么定义的?
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

主题

帖子

14

积分
快速回复 返回顶部 返回列表