caffe设置正则化项

今天想在网络中设置一下正则化项，百度了好久，发现caffe中的正则化情况如下：

caffe提供了两种正则化，L1和L2，其中L2正则化项是默认存在的，在caffe.proto中可以找到，如下

// regularization types supported: L1 and L2
// controlled by weight_decay
optional string regularization_type = 29 [default = "L2"];

说明caffe默认使用的是L2正则化

那么，我在solver文件中将它设为L1岂不就是L1正则化了。虽然我在网上没有直接的solver文件可以参考，不过试了试，确实是这样子，，，，具体就是在solver文件中加下面一句：

regularization_type: "L1"

还有个点是 weight_decay 是乘在正则化向前面，控制正则化项在损失函数中所占权重的。

http://blog.csdn.net/wkk15903468980/article/details/66570674

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!