发新帖

提问: 带参数的激活函数的参数 ,在模型保存时会被保存...

[复制链接]
429 5

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
带参数的激活函数的参数 ,在模型保存时会被保存下来吗?
在推断过程中,这个参数算超参数吗?
我知道答案 回答被采纳将会获得10 金币 + 5 金币 已有5人回答
本楼点评(4) 收起
  • yunhai_luo会保存;算超参数。从一般意义上说,我感觉激活函数与其他函数并无不同;从计算图结构的角度来看,激活函数与其他函数可以是平级平等的,而不是依附关系;在TF、Keras等架构中,激活是可以作为独立的层来定义使用的。
    2018-5-27 16:00 回复
  • 李白衣回复 yunhai_luo :那您觉得 Dropout 函数的参数会保存吗?
    2018-6-10 07:19 回复
  • yunhai_luo回复 李白衣 :简单回答:如果你想要保存dropout并且正确保存的话,参数应该会保存下来。之所以有前半句的前提是因为你的确问了一个好问题,如你所想,dropout确实有特殊性。简单解释一下,第一个前提——如果你不只是用dropout优化训练的过拟合/样本偏差,那么可能确实应该保存;第二个前提——Keras中的dropout可能会选择训练时激活而预测时不激活,tf中可能没有这种设定,需要注意,Github上有一些讨论,可以参考:
    https://github.com/keras-team/keras/issues/5357
    2018-6-10 14:00 回复
  • 李白衣回复 yunhai_luo :非常感谢
    2018-6-11 17:19 回复

精彩评论5

舟3332  TF芽芽  发表于 2018-6-8 21:46:34 来自手机  | 显示全部楼层
举个例子呗。或者做个简单的实验。
本楼点评(0) 收起
李白衣  TF荚荚  发表于 2018-7-3 16:06:43 | 显示全部楼层
看到了PReLU激活函数的参数是可以随模型训练进行调节的,应该不在属于超参数的范畴,所以还是应该看参数性质。
还有就是dropout和非线性激活函数的用途还是存在较大的差距的
本楼点评(0) 收起
zhanys_7  TF荚荚  发表于 2018-7-3 16:46:50 | 显示全部楼层
算超参数啊
本楼点评(1) 收起
ViolinSolo  TF芽芽  发表于 2018-7-3 19:50:26 | 显示全部楼层
会保存的。
本楼点评(0) 收起
ViolinSolo  TF芽芽  发表于 2018-7-3 19:51:06 | 显示全部楼层
呃,当然如果你用的那种动态的平衡参数,效果会更好
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

快速回复 返回顶部 返回列表