本文共 1905 字,大约阅读时间需要 6 分钟。
模型复杂度越高,能完成更加复杂的学习任务,但是模型的训练效率低,易过拟合。随着云计算的发展,计算能力提高,使得深度学习重新进入人们的视野。
在超过三个的隐层数目的深度神经网络中,虽然有更高的学习能力,但是由于误差存在多隐层内逆向传播,导致模型发散无法收敛到稳定状态。 神经网络训练常分为两类: 预训练+微调----将参数分组训练 权共享------------将一组神经元使用相同的连接权。(CNN) CNN复合了多个“卷积层”和“采样层”,对输入信号进行加工,然后在连接层实现与输出目标之间的映射。卷积层存在多个特征映射,该映射是一个神经元矩阵,提取输入特征;采样层为汇合层,其作用是基于局部相关性原理进行亚采样,从而提取有用信息并滤除无关信息。卷积层与采样层每层单独共享权值。特点:层级之间并非全连接
优点:稀疏链接、权值共享、特征图平移不变性。 卷积流的模块:卷积、非线性、池化和批量归一化。 卷积:处理图片,学得鲁棒性较高的特征。 激活函数(非线性):通过弯曲或扭曲实现表征能力的提升,如Relu激活函数。不饱和、计算快、稀疏。 池化:在一小片区域内,采取一个特定的值作为输出值,感觉类似于采样层,简化特征。 归一化:因为数据范围偏大或偏小,可能导致深度神经网络收敛慢,训练时间长,因此使用L2范数、Sigmoid函数归一化,该方法可减少训练过程的不稳定性。感觉量纲不统一会使得模型复杂度升高,进而结果预测精度降低。 输入:特定性质的编码,即输入图像。 输出:通过全连接层将局部特征转化为全局特征,计算每一类的得分。 输入与输出都是三维的,Length,height,depth(rgb)。具有局部感知的功能。每个隐含单元仅连接输入单元的一部分,该部分叫做感受野。
由于是不同感受野综合起来公式等同与卷积,因此称为卷积层。 输入: W 1 ∗ H 1 ∗ D 1 W1*H1*D1 W1∗H1∗D1. 给定参数: 滤波器的深度K. 感受野F. 补零数P. 步幅S. 输出:W2H2D2.其中 W 2 = W 1 − F + 2 P S + 1 {W_2} = \frac{ { {W_1} - F + 2P}}{S} + 1 W2=SW1−F+2P+1 W 2 = H 1 − F + 2 P S + 1 {W_2} = \frac{ { {H_1} - F + 2P}}{S} + 1 W2=SH1−F+2P+1 D 2 = K D2 = K D2=K 由于应用权值共享,每个滤波器产生FFD1个权重,共 ( F ∗ F ∗ D 1 ) ∗ K (F*F*D1)*K (F∗F∗D1)∗K个权重和K个偏置。 在输出单元中,第d个深度切片的结果是由第d个filter和输入单元作卷积运算+偏置。一般采用22的最大化池化,对每个深度切片独立,选择每四个值中最大的一个数作为特征。长宽不是2的倍数时候需要对输入进行补零。 输入: W 1 ∗ H 1 ∗ D 1 W1*H1*D1 W1∗H1∗D1. 给定参数: 感受野F. 步幅S. 输出:W2H2*D2.其中
${W_2} = \frac{ { {W_1} - F}}{S} $ W 2 = H 1 − F S + 1 {W_2} = \frac{ { {H_1} - F}}{S} + 1 W2=SH1−F+1 D 2 = D 1 D2 = D1 D2=D1 无需引入新的权重。全连接层与卷积层可以相互转换。
INPUT -> [[CONV->Relu]*N -> Pool?]*M -> [FC -> Relu]*k -> FC
?表示0或1,N >= 0 && N <= 3, M >= 0, K >= 0 && K < 3
参考文献
周志华. 机器学习[M]. 清华大学出版社, 2016.转载地址:http://rmlxi.baihongyu.com/