杨铭深度学习发展的新趋势演讲稿
地平线机器人联合创始人 地平线机器人技术软件副总裁
大家好，我是杨铭。非常荣幸有这样的机会跟大家分享我们对深度学习研究发展新趋势的一些思考和总结，我们将这些新发展的首字母缩写成一个单词MARS。这是和我的同事黄畅博士共同的一些讨论。
简单介绍一下，我是去年夏天加入地平线的，负责软件工程。在此之前我在Facebook人工智能实验室负责人脸识别算法研究和后端系统开发，也曾在NEC美国实验室和徐伟一起工作，学到很多东西。
在谈论深度学习的新趋势之前，我们应该首先明确一下深度学习的定义和它现在的发展状态。非常幸运，学术圈对于深度学习的定义有比较清楚的共识。深度学习是指从原始的数据通过不断地学习、不断地抽象，得到这些数据的表达或描述。所以简单地说，深度学习是从原始数据(raw data)学习其表达(learning representations)。这些原始数据可能是图像数据，可能是语音，也可能是文字;这种表达就是一些简洁的数字化的表达。深度学习的关键就是怎么去学这个表达。这个表达是通过多层的非线性的复杂的结构学习的，而这个结构可能是神经网络，也可能其他的结构。关键是希望通过端到端的训练，从数据直接学习到到表达。
如果谈到深度学习的起源还是要回到1957年，从一个非常简单的结构单元——“感知机(perception)”开始。一些输入信号被权重加权后，和一个阈值比较得到输出。为什么说这是深度学习的起源?因为这些权重不是由规则预先设计的，而是训练学习得到的。最开始的“感知机”是硬件设计，这些连接就是物理连线，这些权重可能是通过调节电阻实现的。当时媒体就预测，这是一个智能计算机的雏形，能很快学会走路、说话、看图、写作，甚至自我复制或者有自我意识。那么过了60年，目前进展到看图和写作中间的阶段，希望至少再需要至60年能学会自我复制。
深度学习从出现之后，大体上经过了两个落起。一开始大家非常乐观，但很快发现有一些非常简单的问题它解决不了。从2006年开始，在Hinton/LeCun/Bengio/Ng等几位教授的推动下，深度学习得到了一种爆发式的发展，在图像识别、语音识别、语义理解，和广告推荐等问题上，有一些突破性的提高。最新的进展就是今年3月的AlphaGo围棋比赛，以一种很直观的方式让社会大众感受到了深度学习进展。我们希望再过五年，深度学习的技术能够真正用到千家万户的日常生活中去，让每个设备都可以运行深度学习的模块。
在这几次起落中，深度学习基本的学习方式和网络结构其实没有本质性的变化，还是一种多级的人工神经网络的结构。像这幅图中看到的，输入层是一些原始数据，并且有标注。无论希望学到什么内容，只要有个评价误差的函数(cost function)，评价神经网络的误差是多少，那么有了这个输入输出之后，深度学习或者深度神经网络就可以作为一个黑盒子学习这个目标。人工神经网络从结构上讲就是多层的神经元和它们之间的连接，组合成很多层。开始时可能有一个输入和一个目标，比如你希望从人脸图像识别出这个人是谁。这时候神经网络肯定识别不出来，因为它从来没有见过。我们会给神经网络随机设一些值，让它预测这个识别结果，开始最后输出层几乎肯定会是一个错误的识别结果。这也没有关系，我们把这个输出层的误差慢慢地反向传播回去，一点点的修改这些神经元的内部参数和他们之间的连接。通过这种一点点地修改，慢慢通过大量的数据，这个网络就学会了一个非常复杂的函数功能。从八十年代到目前，这30年间，这个基本的结构和学习算法是没有变化。
从2006年开始，深度学习有爆发式增长，归结于下面几个理由。首先是利用了海量的数据，这些大数据的使用使得原来这种深度神经网络一些问题，比如对噪声数据敏感，容易在一个小的数据集性能很好，但无法泛化到大的数据集，这些问题都不再是问题了。能够使用这些大数据学习，需要很高的并行运算的能力。当然，也有算法上的改进，比如dropout、batch normalization、residual networks等，能避免过拟合梯度消失这些问题。但本质上这次深度学习的爆发发展还是通过大数据和计算能力实现的。之前说神经网络本身像黑盒子，结构设定没有很好的指导意见，这个目前还是这个现状。
深度学习为什么这几年能得到这么大的关注?关键原因是性能准确度是随着数据的增长而增加的。其他的机器学习的方法可能随着数据的增加，性能提高到某一个点就饱和了。但目前为止对于深度学习我们还没有观察到这点，这可能是它最值得关注的一点。目前深度学习也取得很多成功，比如如何做好图像分类的问题。对于一个1000类图像分类测试，经过大概不到五年的时间，错误率从25%降到3.5%的水平，已经比人类的识别准确率还要高。这就是我们目前深度学习或者深度神经网络取得的主要的成功点，即学会了如何识别、如何分类。
回到我们的正题，目前深度学习研究的新趋势?我们总结了四个方向。首先是学习如何记忆(memory networks);第二是学习如何关注与取舍(attention model)，把注意力集中到需要关心的细节上;第三个是增强学习(reinforcement learning)，学习如何控制主动行动;第四个整体学习任务结构上的新趋势，就是序列化(Sequentialization)。我们取首字母，缩写成MARS。
第一个是学习然如何记忆。常规的前向神经网络有一个特点：你每次输入和输出是确定的关系，对于一副图像，无论何时输入进神经网络，我们一层一层计算后就会得到一个确定的结果，这是跟上下文不相关的。我们如何把记忆的能力引入到神经网络中去?最简单的一个思路是，在神经网络中加入一些状态，让它能记住一点事情。它的输出不仅取决于它的输入，也取决于它本身的状态。这是一个最基本的递归神经网络的思路。输出取决于本身的状态，我们也可以将其展开成一个时序系列的结构，就是说当前状态的输入不仅包括现在输入，也包含上一时刻的输出，这样就会构成一个非常深的网络。这种办法可以让神经网络记住一些之前的状态。那么输出就取决于在这些状态和现在的输入的结合。但是这个方法有一个局限：这些记忆不会很长久，很快就会被后面的数据冲掉了。之后的深度学习的发展就是长时短时记忆，提出了一个记忆单元(memory cell)的概念，这个单元中加入了三个个门，一个输入门，一个输出门，一个遗忘门。输入门可以控制你的输入是否影响你的记忆当中的内容。输出门是影响你的记忆是否被输出出来影响将来。遗忘门是来看你的记忆是否自我更新保持下去。这种方式使你的记忆得到灵活的保持，而控制记忆如何保持的这些门本身是通过学习得到的，通过不同的任务学习如何去控制这些门。这个长短时记忆单元是1999年提出的，近几年又有一些新的改进如Gated Recurrent Unit，简化成只有两个门，一个是更新门，一个重置们，控制记忆内容是否能继续保存下去。
这些方法其实可以把记忆保存得更长一点，但实际上还是很有限。更新的一些研究方法提出了一种神经图灵机(Neural Turning Machine)的概念：有一个*的的内存模块，有一个控制模块去控制如何根据输入去读取存储这些内存，并转换成输出。这个控制模块，可以用神经网络实现。举个例子，比如做排序的工作，有一些乱序的数字，希望把它排成顺序的序列。我们之前需要设计不同的排序算法，而这个神经图灵机的思路是我们给定这些输入输出，让这个神经网络自己去学习如何把这些数字通过储存和取出来排序。某种意义上，让神经网络学习如何实现编程实现任务。这也是一个类似的工作，记忆网络(Memory Network)，学习去管理这种长时间的记忆，在应用于问答系统后，可以学到一些推理的能力。
第二个方向是把注意力模型(Attention Model)，动态的将注意力集中到某些细节，提高识别性能。比如，看图说话图像理解，你可以根据一幅图生成一句话，很可能是非常宏观的。如果我们能够把注意力聚焦在这个机制的从引入到识别的过程中，根据目前的识别结果，动态一步一步调整聚焦到图像的细节，那么可以生成一些更合理或者更精细的表达，比如在图像中，关注一个飞碟，我们可以调整关注区域在图像中把飞碟的找出来，提取它的特征进行识别，得到图像的更准确的文字描述。
第三个就是增强学习(Reinforcement Learning)。在增强学习的框架中有两个部分，一部分是自主控制的单元(agent)，一部分是环境(environment)。自主控制单元是通过选择不同的策略或者行为，希望能够最大化自己的长期预期收益，得到奖励;而环境将接收策略行为，修改状态，反馈出奖励。在这个增强学习的框架中有两个部分，一个部分是如何选择这些行为(policy function)，另外一部分是如何评价评估自己可能取得的这些收益(value function)。这个增强学习框架本身已经存在很多年了，和深度学习的结合就是指如何选择策略行为的函数，以及如何评估预期奖励的函数，由深度神经网络学习得到，例如AlphaGo围棋中的走棋网络(policy network)和评价网络(value networks)。
总而言之，从研究角度，深度学习正从有监督的学习慢慢向这种互动式的学习发展;网络结构由先向网络向有递归方式、考虑记忆、考虑时序的网络发;同时内容从静态的输入到动态的输入，在预测方式方面是从同时的预测慢慢变成一步一步序列化的预测。从2014年和2015年的发展情况来看，深度学习现在的非常简化的思路是，如果有个比较新的问题，要做的事情首先是把问题描述好，保证输入到最终的目的这个过程每步是可微分的，然后把其中最难的部分**深度神经网络，实现端对端的学习。之前提到的几个新趋势，大体上都是这种思路。
无论是社会大众还是媒体，或者是研究人员自己，我们可能对深度学习还有一些不同角度的认识。我个人认为这是计算机科学领域非常纯粹的计算问题，探索如何把这些数据本质的内容和结构抽象理解得更好。希望今天提到的一些深度学习的新趋势，对大家有所帮助和借鉴。谢谢大家!
拓展阅读
1、展望新学期演讲稿 新学期展望演讲稿
亲爱的老师和同学们：
大家好！满怀着喜悦的心情，我们又迎来了新的学年。
在这里，向学员们建议：第一，树立一个信心：我能我行自信心对我们的学习很重要，这也是瑞思的理念。学习英语，需要有决心、有信心、有行动。送大家三句话：“相信自己，我能成功！鼓励自己，天天成功！超越自己，一定成功！”第二，创立一种学风：认真刻苦新学期开始，我们要在全学校创立一种优良的学习风气。凡事从“认真”开始，认认真真地读书，认认真真地上课，认认真真地做作业。学业成功的过程离不开勤奋和刻苦。“天才出于勤奋”，“书山有路勤为劲，学海无涯苦作舟”，“宝剑锋从磨砺出，梅花香自苦寒来”这些格言说的都是这个道理。我相信，只要我们坚持，只要我们努力，新的学期，新的开始，新的征程等着我们辉煌。
新学期希望每个同学要做到“五心”：
一是收心。
把寒假的以玩为主的生活方式转变为以学为主的生活方式。
二是决心。
新学期有新开始，人生最关键的时候，往往只有几步，我们要在新学期伊始就下定决心使自己的人生有一个美好的开端，就如我以前讲过的登山的故事，登山前我们总要抱有必胜的，登上山顶的决心，在新学期我们也要坚定的决心，明确的目标。
三是恒心。
而在登山的过程中总是布满荆棘，甚至会有狂风大雨，也许还会有人在你旁边游说你不要爬了，多累啊，可能有人就放弃了，他永远也登不到山顶，这样的人没有恒心，学习上要下功夫，持之以恒，战胜一个个困难，去争取新的辉煌。
四是爱心。
不仅要提高学习，同时还提高品德修养。尊敬老师，团结友爱，互助互爱，孝顺父母。
五是用心。
读书需要用心，处处用心皆学问。只有用心做人、做学问，才能有所成。有一个故事：父子赶牛，父子两住山上，每天都要赶牛车下山卖柴。老父较有经验，坐镇驾车，山路崎岖，弯道特多，儿子眼神较好，总是在要转弯时提醒道：“爹，转弯啦！”有一次父亲因病没有下山，儿子一人驾车。到了弯道，牛怎么也不肯转弯，儿子用尽各种方法，下车又推又拉，用青草诱之，牛一动不动。到底是怎么回事？儿子百思不得其解。最后只有一个办法了，他左右看看无人，贴近牛的耳朵大声叫道：“爹，转弯啦！”牛应声而动。牛用条件反射的方式活着，而人则以习惯生活。一个成功的人晓得如何培养好的习惯来代替坏的习惯，当好的习惯积累多了，自然会有一个好的人生。好的习惯养成需要21天，在这习惯养成的过程中需要用心，同时也需要其他几个心。
“一份耕耘，一份收获”，只要努力就会有收获，愿同学们在新学期有所进步。
2、展望新学期演讲稿 新学期展望演讲稿
尊敬的老师、同学们：
大家好！
一个月的光阴如飞一般的流逝了，这也就意味着我们的寒假生活到此结束。我们又该全身心的投入到学习中，调整好我们的学习状态了。
虽然一个寒假过去了，我们不仅仅养成了自由散漫的习惯，并且有许多学生抛弃了学习，忘记了学习，心里想着的仅有玩，以至于有些学生经常在课上不认真听讲，出神，开学几天后，还是有些不适应。所以我要做出几点改变：
1、改变作息时间，不再像寒假那样晚睡晚起。
2、提高学习状态，认真听讲，认真学习。
3、改掉以往的懒，要变得勤快一些，做什么事都要抓紧时间，改掉以往的慢，不浪费一分一秒，抓紧学习。
4、不要再向寒假里一样，整天被家长督促着去学习，要自主学习。
在新学期里，我期望自我做得更出色，在学习中能够更优秀，尤其是在学习小四门的过程中，我要做到专心，专注，认真学好每一门学科，争取能够考得更好，更棒，更出色，名次期望也能够更上一层楼。在所有科目中，我最喜欢英语，可我总会把最简单的题做错。更可恶的是，我竟会把自我的答案写错，所以，我要改掉这个坏毛病。
我还有一个坏毛病，就是会粗心马虎，在做数学时，我经常会把题目看错，明明能够得分的题。我偏要失分，这一点很令我头痛。我期望在新的学期里，我能够改掉这个坏毛病，好好学习，端正态度。在写作业的时候，要认真，仔细，做完后要细心检查，不要让教师家长督促。
新学期，新气象。最重要的就是要把寒假和以往的坏毛病彻底改掉，重新端正学习态度，提高自制力，要学会主动学习，不要被动地被逼迫着学习，写作业。
新学期，期望人人都能够收获一份自我努力所换回来的成果！
3、展望新学期演讲稿 新学期展望演讲稿
尊敬的老师，亲爱的同学：
大家好！在这秋风送爽，硕果飘香的时节，在我们满怀着新的希望又迎来了一个新的学期。大家又可以开开心心热热闹闹地在一起学习生活了。美丽的校园因为你们的到来而更加充满生机。
新学期，对于同学们来说，就像是你们手中刚刚拿到的新书一样，散发着油墨的清香，崭新崭新的。虽然现在还不知道这本奇特的书里面讲述什么神奇有趣的故事，但在那整洁的封面上，却已经写满了我们老师对你们的祝福。为了帮助你们读好这本神秘而又奇特的书，开学前，学校里的老师们一直在做着精心的准备。就像以往一样，我们每一位老师都怀着巨大的企盼期待着你们健康地成长，希望你们长得更高、变得更懂事。
同学们，学习是紧张的，艰苦的，但又是无比快乐的，学校为我们创造了优良的学习条件和环境，又有那么多慈爱的老师悉心教育和指导，只要我们每一位同学刻苦努力，你们一定能成为德智体美劳全面发展的人，这一点不仅家长相信你，老师更相信你。我们全体老师正期待着一份满意的答卷。请拿出你的勇气和斗志，不负自己、不负学校、不负父母、不负祖国的未来！徐舍小学是我们共同的家，在这个家中，我们每位老师都有责任来共同管理好你们，都有为徐舍小学的发展贡献自己一份力量的决心。
一句富有哲理的名言也说过：“爱是教育的前提，爱是教师的天职。”所以作为徐舍小学的每位教师都会努力做到关心爱护每一位学生，在此我代表全体徐舍小学的老师郑重向你们承诺：今后的工作中，在团结奋进的校领导领导下，我们每位老师会克服一切困难，一如既往地把人民教师对学生的爱均匀地洒向每位学生的心田！努力做到爱与严的结合。对学生严格要求以严导其行，以爱温其心，积极与学生加强情感交流，时时处处做学生的表率，努力做到敬书育人、管理育人、为人师表及时听取学生意见和要求，不断改进教学方法，力争在新的学期里取得更大的成绩。为建设一流的校风，一流的学风，一流的班风，作出努力。
亲爱的同学们，在这样一个充满朝气的新学期里，希望你们与我们的学校共同成长进步，用自己的实际行动来证明：从现在开始，我们一定会做得更好！“雄关漫道真如铁，而今迈步从头越”。祝愿大家在新的学期里有新的目标、有新的发展、有新的收获。
最后，祝同学们学习进步，心想事成！谢谢！
4、展望新学期演讲稿 新学期展望演讲稿
亲爱的老师和同学们：
大家好！
当我们正在嗟叹光阴的短暂时，不知不觉间，一学期又过去了。
初一的学弟学妹们，对于刚步入初中的你们，它是一个新奇、富有神秘色彩的世界，与小学有天壤之别的第二重天。在这初一的征程上，你们重新站在同一起跑线上，这意味着不管你以往成绩如何，都已归零成为过去式，你们将开始崭新的一页。刚步入初一，最重要的是调整好心态。因为陌生，所以惶恐不安，这是正常的过渡期心理现象，不必着急。你们要慢慢地去熟悉它，适应它。培养起良好的学习习惯和方法也是学习的关键，希望你们能够尽快适应初中生活，全身心地投入到初中快乐的学习时光中。加油！初二的同学们，经过一年的锤炼，你们也日渐成熟、稳健，培养起了良好的学习习惯，在初中的学习中也游刃有余了。在过去的一年中，你或许有过成功，也有过失败。我们不能被成功的辉煌的包围而骄傲自满，更不能被过去的阴影的笼罩而垂头丧气。初二是重要的一年，你们要用更严谨认真的学习态度，勤奋进取的学习劲头来面对新的挑战。稍落后的同学要重新看待自己，力求有所进步，成绩优异的同学要再接再厉，以这一次的成功作为基石，为其添砖接瓦，再迈入下一个成功。加油！初三的同学们，我们在学校里学习了两年，终于迎来了最关键的时刻。初三，是全力冲刺、艰苦奋斗的一年;是一跃而起、自我超越的一年；是挥洒辛勤汗水、采集丰硕果实的一年。对于即将升入高中的我们，更应该好好地珍惜这段宝贵的时光来充实自己，把理想化为势不可挡的动力，鼓足冲劲，全力冲刺，怀着坚定的信念，战胜一切困难，渡过所有浅滩，到达成功的彼岸。风雨过后总能看到彩虹，奋斗过后一定能看见胜利的曙光。加油！
新学期，新气象。同学们，让我们忘记曾经的成功与失败，辉煌和教训，在这新一轮朝阳升起的时刻，为了我们的理想而共同努力吧！未来是我们的！最后，我预祝老师、同学们都能度过一个开心、轻松、愉快的学期！
转载请注明出处：https://www.erab.cn/articles/46844.html