【tensorflow2.0】激活函数activation
激活函数在深度学习中扮演着非常重要的角色,它给网络赋予了非线性,从而使得神经网络能够拟合任意复杂的函数。 如果没有激活函数,无论多复杂的网络,都等价于单一的线性变换,无法对非线性函数进行拟合。 目前,深度学习中最流行的激活函数为 relu,但也有些新推出的激活函数,例如 swish、GELU 据称效果优于relu激活函数。 激活函数的综述介绍可以参考下面两篇文章。 《一文概览深度学习中的激活函数》 https://zhuanlan.zhihu.com/p/98472075 《从ReLU到GELU,一文概览神经网络中的激活函数》 https://zhuanlan.zhihu.com/p/98863801 一,常用激活函数
二,在模型中使用激活函数在keras模型中使用激活函数一般有两种方式,一种是作为某些层的activation参数指定,另一种是显式添加layers.Activation激活层。 import numpy as np pandas as pd tensorflow as tf from tensorflow.keras layers,models tf.keras.backend.clear_session() model = models.Sequential() model.add(layers.Dense(32,input_shape = (None,16),activation = tf.nn.relu)) #通过activation参数指定 model.add(layers.Dense(10)) model.add(layers.Activation(tf.nn.softmax)) 显式添加layers.Activation激活层 model.summary() ? 参考: 开源电子书地址:https://lyhue1991.github.io/eat_tensorflow2_in_30_days/ GitHub 项目地址:https://github.com/lyhue1991/eat_tensorflow2_in_30_days ? (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |