＼ 研究与开发 ｉ 冈２深度神绛 １）ＮＮ卡Ｉｌ 水质上是多层ＡＮＮ的模 ，但深度神经 网络和传统ＡＮＮ在权值的初值选取和训练机制等方 而截然不 主要在丁权值的预先训练 法上 南于 【）ＮＮ模 ｆ１ １数过多，权值的数 将会 爆炸性增大． 输人的过・ 像素为１ＫｘｌＫ的 像，隐含层有ｌＭ 个节点，比这・层就有Ｊ０ 个十义重需 训练 有别于 传统ＡＮＮ的ｌ；１）学习；深度神经网络的 是采ＪＨ深 度学 １．２深度学习 深 学 Ｊ（Ｄｅｅｐ Ｉ，ｅａｌ・ｌｌｉｎｇ，ＤＬ）址Ｇｅｏｆｆｒｅｙ Ｈｉｍｏｌ１ 等人 捉…的， ２００６年提…的 足 督数据 建、 多Ｊ Ｉ ｌ络的一个有效方法，｝ｔｉｎｔｔ１１１证明了多 隐减层的人 ｌ｝】经网络具仃优异的特 学习能力，学 习￣ｔＪ，ｆｉＪ的特 埘数据有更木质的刻【ｆＩ６，从Ｉ『ｌ『有利于可 视化或分 ；深度神经网络 训练上的难度，可以通过 逐 颅圳练 。（１ａｙｅｒ—ＷｉＳ（－Ｉ１ 一ｔｒａｉｎｉｌｌｇ）米 ｒ效克服，逐 层倾圳练址通过尤监督学习（Ｕｎｓｕ！）ｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）实 的 （，ｅｏｆｆｌ－ｅｙ Ｈｉｎｔｏｔ１的训练过程，分 两步，一足 每ｉ欠＝圳 一Ｊ 刚络，二是悯优使原始输入的ｘ向Ｊ 生 ｎ 的高级 爪Ｉ・和该高级表示・・向下 成ｆｉ９ ｘ 尽可能 一敛 法址逐层提前预先训ｌ练蚀一Ｊ 的权值，并Ｈ． 只 使川尢 己的样小（无监督训练） 、与每一层都 预先圳练 Ｊ，ｑ－，再使用少量的仃怀 样小进行有监督 的惮度下降， 成微捌 时・巾＾ｉ大小为２５６ｘ２５６像素的 片，深度学习模 型ｆｎ１ ３ ｆｉ』ｉ： ２ 自编码器 ｌ Ｉ编 搽 足一个典型的前馈｝ｌ｝Ｉ绛 络，它的口标 就足学 一种对数据集的 缩且分 的表示方法 （编码思想） 囝 现代计算机２０１７．１２中 ３深度 、 ： Ｊ１＝ｌ！Ｊ ２．１自编码器的基本模式 ｎ编码器南编 器ｌ干ｌＩ解 ｌＩ＾ｊ部分组成 ４ 所爪将标记样木输入编 器． 刘输入的 ，Ｊ 斛 的输 输人ｆ｝Ｉ似（ 允许的范 ｆ ）， 就ｉｉｌ！ｌ９ Ｊ解码器是正确的 川‘以嗵过 整编码 ｆｌｌ晰 的参数，使，导重构 最小 埘尤 签数据， 的 米源就址直接重构后与 输人Ｉ１１比得到编码 圳约：ｆ１Ｉ部署的时候使川，ｆｆ ５ 络 是 训练的 ｆ｛１ｆ候使Ｊ｝Ｊ 编码 网络的【Ｉ的址拽刮一个给定的输入 的Ｊ 缩 示 Ｉ 二 三＿ ４自编 器模 ２．２自编码器实现原理 『ｌ编码器 层构成，Ｉ １为 始输入层，ｌＪ２为编 －ＨＡ，１ ３为解码层，／』ｌ Ｉ５断 爪 』 １ ｒ Ｌｌ和Ｉ ３ Ｊ Ｉｆ－ｆＩ｝ｌ 数相同，Ｉ ２层神 元数 小ｆ Ｉ １ ｈ编码器通过输入 一个编码器函数 ／‘，输… ，Ｊｊ、＝八、）；解码器 数ｇ，输… （ ）＝ｇ（ ，’（ ）） 酣 尤 ｄ０＇Ｊ，训练样小集 ｌＪｌ …∈ ．网络理想ｆＩ怀址 输ｆ 精确等丁输入仉．． ・般ｆ 难达到，所以满 ， ｈ （ｒ） ｒ 输…是对输入的 输入：．ｒ＝ ” ’ ”．… ” ｝ 编伊｝：Ｙ＝『ｊ ｆ．（ ）， …＝ 拟火函数： （ｒ＇ ’）＝ １／ （ｖ）一 ｌ １职究与开发 ／ ／ 中增加稀疏惩罚约束条件，模式如同６所示 稀疏惩罚 冈６稀疏自编码器模式 输入： Ｌａ Ｉｎｐｕｔ 编码：ｈ＝Ｗ Ｘ 损失函数：，Ｊ（ ； ）＝Ｉ 一ｘｌｌｌ！＋Ａ∑ｌ＾，Ｉ 图５白编码器结构 ３ 仿真 使刚ＭＡＴＬＡＢ Ｒ２０ １ ５ａ版本的Ａｕｔｏｅｎ ）‘ｌｅｒＤ 卜 ｓＥｘａｍｐｌｅ调试．对ＮＩＭＩＳＴ为训练样本集，样本集是 ２８ｘ２８像素的手写数字 像。部分样本如图７所示、 深度学习是基于神经网络，深度学习创造性在自 编码和稀疏性。自编码是深度学习把原始输入当作训 练数据，输出还是训练数据，这样似如中间神经元数比 原始输入数据少，就会对原始输入数据起了个压缩的 作用。稀疏性是巾问神经元多一点，为防止训练过拟 合，可以加一个，假设每个训练数据都激活尽量少 的中间层神经元（人类大脑对每个输入不可能所有神 经元都起反应，肯定也是少量神经元有反应）。训练ｍ 来的模型就可以很好的表示原始数据，再对训练好的 ■囵囫囵口 圈围■囝一 日囝园一圆 圆一目一目 『殳Ｊ ７部分样本冈 数据在有监督的数据上做进一步训练，可以满足新的 需求。稀疏自编码模型是一种无监督学习模型，Ｌ【Ｌ可 以对数据进行降维。 神经网络学习到的实际上并不是一个训练数据到 标记的“映射”，而是去学习数据本身的内在结构和特 ｆｉｌ（（也正是因为这，隐含层也被称作特征探测器（ｆｅａ． 建立第１个自编码器，输入为无标记样本，每个样 ｔｕｒｅ ｄｅｔｅｃｔｏｒ））。通常隐含层巾的神经元数目要比输入 层的少，这是为了使神经网络只去学习最重要的特征 并实现特征的降维，如假设输入Ｘ是一幅ｌ０×１０的图 像（１００像素），ｎ＝１００，即ＩＪＩ层的ｓｌ＝１００，在Ｌ２层的ｓ２＝ ５０，Ｙ∈Ｒ“ ，本是７８４维。输ｊ ＪＩ定为１００（一般输ｆＩＩ要比输入小，这 样才能起来压缩提取输入特征的目的）。建立前馈神 经网络的模型如 ８所示。提取ｊ＿Ｉ｛来的特征可视化如 图９所示 因为隐藏层只有５０个神经元，网络被迫学 ＨＩｄｄｅｎ Ｏｕｔｐｕ１ 习压缩表示的输入 获得隐藏一个神经元激励函数 ｎ ∈ ，它需要重新构建１００个像素的输人Ｘ。这是简 单的自编码器．类似于ＰＣＡ模型（传递函数不使用ｓｉｇ． ｍｏｉｄ而使用线性函数，就是ＰＣＡ模型）。自编码器的 隐藏层的神经 元数日大于输入数量。可以使用稀疏 约束规则完成。 匝 ２．３稀疏自编码器（Ｓｐａｒｓｅ Ａｕｔｏｅｎｃｏｄｅｒ） 稀疏自编码器 Ｉ是在原型自动编码器的代价 数 【矧８自编码器结构 女¨果自编码器ｌ的输出与输入的误差达到要求， 现代计算机２０１７．１２中 ④ ＼研究与开发 即可确定自编码器ｌ对特征的提出有效，完成编码器 训练 ｎｒ视化自动提取的特征如Ｉ 所示 ｌｏ０ １１深度神经『稠络坝Ｊ ｌ＊１－ ９自动提取特征 用同样的方法完成第二个自编码器的训练。使用 第一层的自编码器的输…作为输入？模型如 ｌ０ 所示。 Ｈｉｄｄｅｎ Ｏｕｔｐｕｔ ＝＿Ｉ３羞舌 １ ２ ３ ４ ５ ６ ７ ８ ９ Ｏ ４ 结语 自编码器是在特征层次结构的深度模型巾以无监 督特征学习为目的，使ＪＨ逐层初始化的训练方法来建 立问题模型。仿真巾可以看到存深度神经网络的应川 深度网络的最后一层是级联了一个Ｓｏｆｌｍａｘ分类 器，这一层是有监督学习，使用验证数据集（有标记样 ＿小）冉进行０—９的ｌ０类的模式识别。Ｓｏｆｔｍａｘ是训练 多分类器，Ｓｉｇｍｏｉｄ函数只能分两类，而Ｓｏｆｌｎｍｘ能分多 巾，使川的隐藏层数，以及需要使用多少个白编码器才 能达到对象特征的有效提取，这些郁是根据经验及应 用的误差需求进行反复实验测试来得到，目前还没有 比较完善的公式及推理 深度网络巾的白编码器是通过学习输入数据的结 构得到初值，这个初值更接近全局最优，从而能够获得 更好的效果。大数据的训练不易造成过拟合 类，Ｓｏｆｔｍａｘ是Ｓｉｇｍｏｉｄ的扩展 最后根据２个编码器 提取的特征（权值），重新组建深度神经网络模型ｌｎ１ Ｉｌ所示 根据如 １２所示的混淆矩阵，可以看到数字识别 正确率为９９．５％ 使用自编码器学习提取的特征来建 立模式识刖系统，系统具有很好的识别率。 参考文献： Ｉｌ１张光建．基于神经网络的钢筋混凝土碳化深度预测研究ＩＪ１．成都航空职业技术学院学报，２０１６，Ｏｌ：６７—６９＋７７． 【２ＩＨＩＮｒｒＯＮ Ｇ，ＯＳＩＮＤＥＲＯ Ｓ， Ｉ＇ＨＥ Ｙ．Ａ Ｆａｓｔ Ｌｅａｒｎｉｎｇ Ａｌｇｍ’ｉｔｈｍ ｉｆ）ｒ Ｉ）ｅｅｔ）Ｂｅｌｉｅｆ ＮｅｔｓｌＪ］．ＮＥＵ ＲＡＬ Ｃｏｎｌｐｕｔａｔｉｏｎ，２００６ １ ８（７）：１ ５２７一 ｌ５５４． Ｉ３］ＢＥＮ（；ＩＯ Ｙ ＬＡＭＢＩ ＩＮ Ｐ，ＰＯＩ ＯＶＩＣＩ Ｉ），ｅｔ．Ｇｒｅｅｄ）ｒ ｌ，ａｙｅｒ—Ｗｉｓｅ Ｔｒａｉｎｉｎｇ ｏｆ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ［Ｃ］．Ｐｒｏ（‘ｏｆ ｔｈｅ １ ２ｔｈ Ａｎｎｕａｌ ｃ（ＩＩ１ｆ ＰＩ１ｌ （１１１ Ｎｅｔ，，’ａｌ ｈｄ＇ｍ’１ｎａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅ，１１．２００６：１ ５３—１ ６０． Ｉ４］Ｒｕｍｅｌｈａｒｔ Ｄ Ｅ，Ｈｉｎｔｃ＇ｎ Ｇ Ｅ，Ｗｉｌｌｉａｍｓ Ｉ Ｊ．Ｌｅａｒｎｉｌｉｇ Ｒｅｐ—Ｒｅｓｅｎｔａｔｉｏｎｓ ｈｙ Ｂａｃｋ—Ｐｒｏｐａｇａｔｉｎｇ Ｅｔ．ｒ（）ｒｓｌＪｊ．ＮａｔｕＩ’Ｐ．１９８６．３２３：５３３—５３６． Ｉ５］Ｌｕｏ Ｘｕｘｉ，Ｉ ｉ Ｗａｎ．Ａ Ｎｏｖｅｌ Ｅｆｆｉｃｉｅｎｔ Ｍｅｔｈｏｄ ｆｏｒ］＇ｒａｉｎｉｎｇ Ｓｐａｒｓｅ Ａｕｔｏ—ＥｎｃｏｄｅｒｓｌＣ Ｊ．ＰＩ （ ．ｏｆｔｈｅ ６ｔｈ Ｉｎｔｅ Ｊ‘ｎａｔｉｏｌ Ｊａｌ ＣｍＩｇｌ ｓ…１ ＩＩｎａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．２０１３：１０１９—１０２３． （下转第 ｌ页） ④ 现代计算机２０１７．１２中 ＼＼ ＼ 图彤图像 Ｉｎｆｒａｒｅｄ Ｉｍａｇｅ Ｔａｒｇｅｔ Ｅｘｔｒａｃｔｉｏｎ Ｂａｓｅｄ ｏｎ ＡＫＡＺＥ ａｎｄ ＭＳＲＣＲ Ｅｎｈａｎｃｅｍｅｎｔ ＷＡＮＧ Ｌｉ－ｌｉ．ＸＩＡ Ｆｅｉ （Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＥｌｅｃｔｒｉｃ Ｐｏｗｅｒ，Ｓｈａｎｇｈａｉ ２０００９０） Ａｂｓｔｒａｃｔ： Ａｉｍｉｎｇ ａｔ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ｔｈｅ ｉｎｆｒａｒｅｄ ｔｈｅｒｍａｌ ｉｍａｇｅ ｔａｋｅｎ ｏｎ ｍｏｂｉｌｅ ｐｌａｔｆｏｒｍ ｉｓ ｄｅｖｉａｔｅｄ，ｔｈｅ ｔｅｍｐｌａｔｅ ａｎｄ ｔｈｅ ｔａｒｇｅｔ ｃａｎｎｏｔ ｍａｔｃｈ，ｐｒｏ— ｐｏｓｅｓ ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｅｘｔｒａｃｔｉｎｇ ｔｈｅ ｉｎｆｒａｒｅｄ ｉｍａｇｅ ｏｂｊｅｃｔ ｗｉｔｈ ｔｈｅ ＡＫＡＺＥ ａｌｇｏｒｉｔｈｍ ａｎｄ ＭＳＲＣＲ ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ．Ｔｈｅ ｍｅｔｈｏｄ ｕｓｅｓ ＭＡＲＣＲ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｉｎｆｒａｒｅｄ ｉｍａｇｅ，ｕｓｅｓ ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ ｔｏ ｒｅｍｏｖｅ ｔｈｅ ｉｍａｇｅ ｎｏｉｓｅ，ｕｓｅｓ ＡＫＡＺＥ ｔｏ ｃａｒｒｙ ｏｕｔ ｆａｓｔ ｍｕｌｔｉ—ｓｃａｌｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ，ａｎｄ ｇｅｎｅｒａｔｅｓ ｔｈｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｄｅｓｃｒｉｐｔｏｒｓ．ＦＬＡＮＮ ｆａｓｔ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｐｒｏｘｉｍｉｔｙ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍ ｉｓ ｕｓｅｄ ｔｏ ｑｕｉｃｋｌｙ ｍａｔｃｈ ｔｈｅ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ．Ｕｓｉｎｇ ｔｈｅ ｒａｎｄｏｍ ｓａｍｐｌｉｎｇ ｃｏｎｓｉｓｔｅｎｃｙ ａｌｇｏｒｉｔｈｍ ｏｆ ＲＡＮＳＣ，ｔｈｅ ｍｉｓｍａｔｃｈｅｄ ｆｅａｔｕｒｅ ｉｓ ｅｌｉｍｉｎａｔ— ｅｄ．Ｔｈｉｓ ｍｅｔｈｏｄ ａｖｏｉｄｓ ｔｈｅ ｓｈｏｒｔｃｏｍｉｎｇｓ ｓｕｃｈ ａｓ ｌａｒｇｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ，ｍａｔｃｈｉｎｇ ｅｒｒｏｒ ａｎｄ ｕｎｃｌｅａｒ ｔａｒｇｅｔ ｃｏｎｔｏｕｒ，ｗｈｉｃｈ ｃａｎ ｈｅｌｐ ｔｏ ｒｅａｌｉｚｅ ｉｘｅｄ—ｐｏｉｆｎｔ ｔａｒｇｅｔ ｉｎｆｒａｒｅｄ ｄｅｔｅｃｔｉｏｎ ｏｎ ｍｏｂｉｌｅ ｐｌａｔｆｏｒｍ． Ｋｅｙｗｏｒｄｓ： ＡＫＡＺＥ Ｆｅａｔｕｒｅｓ；Ｉｎｆｒａｒｅｄ Ｔｈｅｒｍａｌ Ｉｍａｇｅ；ＦＬＡＮＮ Ｆａｓｔ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｐｒｏｘｉｍｉｔｙ Ｓｅａｒｃｈ；Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎｇ；Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒｉｎｇ （上接第４４页） 作者简介： 张光建（１９７８一），女，四川Ｉ简阳人，硕士，讲师，研究方向为计算机视觉、机器学习 收稿日期：２０１７—１０—１０ 修稿日期：２０１７—１ｌ＿２２ Ｉ ｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｄｅｅｐ Ｎｅｕ ｒａｌ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｓｐａｒｓｅ Ａｕｔｏｍａｔｉｃ Ｅｎｃｏｄｅｒ ＺＨＡＮＧ Ｇｕａｎｇ－ｊ ｉａｎ （Ｄｅｐａｒｔｍｅｎｔ ｏｆＩｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｉｃｈｕａｎ Ｃｏｌｌｅｇｅ ｏｆＡｒｃｈｉｔｅｃｔｕｒａｌ Ｔｅｃｈｎｏｌｏｇｙ，Ｄｅｙａｎｇ ６１８０００） Ａｂｓｔｒａｃｔ： Ｉｎ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ｌａｂｅｌ ｔｒａｉｎｉｎｇ ｓｅｔ ａｒｅ ｎｅｅｄｅｄ．Ｔｈｅ ｓｕｃｃｅｓｓ ｏｆ ｔｈｅ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ ｄｅｐｅｎｄｓ ｏｎ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｔｒａｉｎｉｎｇ ｓｅｔ ｌａｂｅｌ ｆｅａｔｕｒｅ，ｂｕｔ ｔｈｅ ａｒｔｉｉｆｃｉａｌ ｌａｂｅｌｅｄ ｆｅａｔｕｒｅ ｉｓ ｔｉｍｅ—ｃｏｎｓｕｍｉｎｇ ａｎｄ ｌａｂｏｒｉｏｕｓ．Ｔｈｅ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄｅｒ ｉｓ ａｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ，ｗｈｉｃｈ ｃａｎ ａｕｔｏｍａｔｉｃａｌｌｙ ｅｘｔｒａｃｔ ｔｈｅ ｆｅａｔｕｒｅｓ ｏｆ ｓａｍｐｌｅｓ ｂｙ ｌｅａｒｎｉｎｇ ｔｈｅ ｕｎｌａｂｅｌｅｄ ｓａｍｐｌｅｓ．Ｓｉｍｕｌａｔｉｏｎ ｏｆ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄｅｒ，ｉｔ ｃａｎ ｂｅ ｖｅｒｙ ｇｏｏｄ ｔｏ ｅｘｔｒａｃｔ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｔｈｅ ｉｎｐｕｔ ｏｆ ｔｈｅ ｕｎｌａｂｅｌｅｄ ｓａｍｐｌｅｓ，ｗｈｉｃｈ ｗｉｌｌ ｇｒｅａｔｌｙ ｉｍｐｒｏｖｅ ｔｈｅ ｒａｎｇｅ ａｎｄ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ． Ｋｅｙｗｏｒｄｓ： Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ；Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；Ａｒｔｉｉｆｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；Ｄｅｅｐ Ｌｅａｒｎｉｎｇ；Ｓｐａｒｓｅ Ａｕｔｏｅｎｃｏｄｅｒ；Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｄｅｅｐ Ａｕｔｏｅｎｃｏｄ— ｅｒ（ＤＡＥ） ① 现代计算机２０１７．１２中
