CNN的新进展(2)
本周主要学习内容包括上次blog未尽部分以及对经典文章的精读总结和思考。 CNN中对损失函数(Loss function)的选择因问题类型的不同而有各异的合适选择。应用的比较多的包括S Softmax loss,Hinge loss和Contrastive loss。 还有一些比较常用的正则化方法,诸如dropout/dropconnect以及学习连接的重要性等方法。dropout是在全连接层随机dropout一半的连接,训练多个网络,取最终综合的结果。dropconnect是在drop一些weight,使其为0**重点内容**。 同样涉及到网络参数的初始化时,也有很多讲究,最常用的是利用高斯分布,Xavier,MSRA等方法。具体细节可参考下边的文献。 接下来介绍几种CNN网络训练中更快的计算方法。
还有一种方法就是VQ(Vector Quantization)。 最近又把Alexnet看了一遍,其中注意到了如下几点:
看了几篇论文有了些其他的思考,也一并记下来。CNN网络的结构选择也有很多的trick,但理论支持很少,超参的调整也是如此,这种conv+pooling的固定框架在一定程度上局限了模型的可能性,当然在此基础上引入了很多其他中间层,诸如Norm层、NB层、Spatial Transformer Networks等。但这些并不够,固定框架基础上的超参调整虽然较难,但探索不同模型加你的参数设置更加的困难,而这种难度可能会带来意想不到的收获。 参考文献: 【1】Recent Advances in Convolutional Neural Networks.Jiuxiang Gu.et.al. 【2】Improving neural networks by preventing co-adaptation of feature detectors. G. E. Hinton.et.al 【3】Learning both Weights and Connections for Efficient Neural Networks. Song Han .et.al 【4】ImageNet Classification with Deep Convolutional Neural Networks.Alex Krizhevsky.et.al 【5】Spatial Transformer Networks. Max Jaderberg.et.al (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |