深度网络模型详解.ppt

深度网络模型详解 2017 4 27 Minsky和SeymourPapert专著Perceptron 单层感知机不能解决XOR问题 1943 1969 1986 1998 2006 1957 单层感知机 MCP神经元数学模型 1989 1997 深度信念网 LeNet LSTM 万能逼近定理卷积神经网络 2010 Xavier 2011 ReLU 2012 DropoutAlexNet Clarifai GoogLeNetVGGNetR CNN 2015 BNFasterR CNNResidualNet 反向传播算法 主要内容 卷积神经网络基础物体分类模型LeNetAlexNetGoogLeNetVGGNetResNet目标检测模型RCNN系列SSDYolo系列 卷积神经网络 卷积计算层 卷积计算层 深度步长填充值 激励层 SigmoidvsReLU 池化层 取区域平均或最大 解释 LeNet AlexNet LRN 局部响应归一化层 local size 默认为5 如果是跨通道LRN 则表示求和的通道数 如果是在通道内LRN 则表示求和的正方形区域长度 alpha 默认为1 归一化公式中的参数 beta 默认为5 归一化公式中的参数 norm region 默认为ACROSS CHANNELS 有两个选择 ACROSS CHANNELS表示在相邻的通道间求和归一化 WITHIN CHANNEL表示在一个通道内部特定的区域内进行求和归一化 与前面的local size参数对应 GoogLeNet VGGNet ResNet R CNN Fast R CNN RoIpooling Faster R CNN RPN SSDvsYolo YoloV2 类似SSD 使用anchorboxes高分辨率输入BatchNormalization聚类选择boxes多尺度训练