最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 微胖这是「神经网络和深度学习简史」的第三部分(下)

    由机器之心翻译

    参与过:salmoner、电羊、牛牛姐、本、胖子

    这是《神经网络与深度学习简史》(,)的第三部分。在本期中,我们将继续关注 90 年代研究的迅速崛起,并找出神经网络在 60 年代后期失宠的原因。

    神经网络做出决策

    既然用于无监督学习的神经网络的发现之旅已经结束,让我们也快速了解一下如何将它们用于机器学习的第三个子领域:强化学习。正式解释强化学习需要大量的数学符号,但它也有一个易于非正式描述的目标:学习做出正确的决定。给定一些理论代理(例如,一小块软件),让代理根据当前状态采取行动,每采取行动获得一些奖励,并且每个行动也旨在最大化长期效用。

    因此,虽然监督学习准确地告诉学习算法它应该学习输出什么,但强化学习会随着时间的推移提供奖励,作为一个好的决策的副产品,而不是直接告诉算法它应该选择哪个决策。从一开始,这是一个非常抽象的决策模型——有限数量的状态,具有一组已知的动作,以及每个状态的已知奖励。编写非常优雅的方程来找到一组最优动作很容易,但很难解决现实世界的问题——那些具有持久状态或难以定义奖励的问题。

    强化学习

    这就是神经网络变得流行的地方。一般来说,机器学习,尤其是神经网络,非常擅长处理混乱的连续数据,或者通过难以定义的示例函数进行学习。尽管分类是神经网络的工作,但神经网络的通用性足以解决许多类型的问题——例如,Bernard Widrow 和 Ted Hoff 的 Adaline 后续技术用于适应电路环境中的滤波器。

    因此,在 BP 研究复苏后不久,设计了使用神经网络进行强化学习的方法。早期的例子之一是解决一个简单但经典的问题:在移动平台上平衡一根棍子,控制课堂上学生熟悉的倒立摆控制问题。

    双摆控制问题——单摆问题的高级版本,是经典的控制和强化学习任务。

    由于自适应滤波,这项研究与电气工程领域密切相关,在神经网络出现之前的几十年里,控制论已经成为一个主要的子领域。虽然该领域已经设计了许多通过直接分析解决问题的方法,但也有一种通过学习来解决更复杂状态的方法已被证明是有用的 – 1990 年,“使用神经网络识别和控制动态系统” 7000 次高引用就是证明. 可以得出结论,还有另一个独立于机器学习的领域,其中神经网络是有用的机器人技术。机器人技术中使用的神经网络的早期例子之一是来自 CMU 的 NavLab,1989 年的“Alvinn:神经网络中的自主陆地车辆”:

    1. “导航实验室 1984 – 1994”

    正如论文中所讨论的,该系统中的神经网络通过使用传感器和人类在驾驶时记录的驾驶数据的普通监督学习来学习控制车辆。也有研究教机器人专门使用强化学习,例如 1993 年的博士论文“使用神经网络的机器人强化学习”。论文表明,机器人可以在合理的时间内学习一些动作,例如沿墙行走或穿过门,考虑到以前倒立摆工作的训练时间长得不切实际,这是一件好事。

    这些发生在其他领域当然很酷,但当然大多数强化学习和神经网络研究都是在人工智能和机器学习的背景下进行的。而且我们还取得了该领域强化学习历史上最重要的成果之一:学习并成为世界级双陆棋选手的神经网络。研究人员使用标准强化学习算法来训练称为 TD-Gammon 的神经网络,这是强化学习可以在相对复杂的任务中胜过人类的第一个证据。此外,这是一种特殊的强化学习方法,仅使用神经网络(没有强化学习)的相同系统表现不佳。

    掌握双陆棋中的专家级神经网络

    但是,正如我们之前看到的,我们将在人工智能中再次看到它,研究走到了死胡同。下一个要用TD-Gammnon方法解决的问题,Sebastian Thrun在1995年的《Learning To Play the Game of Chess》中已经研究过,结果不是很好。虽然神经网络表现不错,但绝对比初学者好,但远不如很久以前实施的标准计算机程序 GNU-Chess。围棋也是如此,这是人工智能面临的另一个长期挑战。这么说吧,TD-Gammon 有点作弊——它学会了准确地评估位置,所以它不会在接下来的许多动作中进行任何搜索,而是选择将占据下一个最佳位置的动作。然而,在国际象棋和围棋游戏中,这些游戏对人工智能来说是一个挑战,因为要预测的动作太多,动作的可能组合也很大。此外,即使算法更智能,当时的硬件也跟不上,Thrun 说,“NeuroChess 并不好,因为它大部分时间都在评估棋盘。计算大型神经网络函数需要时间来评估和优化线性评估函数(优化的线性评估函数),例如 GNU-Chess。” 相对于神经网络的需求而言,计算机的短缺在当时是一个真正的问题,正如我们将看到的,这并不是唯一的…… Thrun 说,“NeuroChess 不好,因为它大部分时间都在评估棋盘。计算大型神经网络函数需要时间来评估和优化线性评估函数(一种优化的线性评估函数),例如 GNU-Chess。” 相对于神经网络的需求而言,计算机的短缺在当时是一个真正的问题,正如我们将看到的,这并不是唯一的…… Thrun 说,“NeuroChess 不好,因为它大部分时间都在评估棋盘。计算大型神经网络函数需要时间来评估和优化线性评估函数(一种优化的线性评估函数),例如 GNU-Chess。” 相对于神经网络的需求而言,计算机的短缺在当时是一个真正的问题,正如我们将看到的,这并不是唯一的……

    神经网络变得愚蠢

    尽管无监督学习和强化学习很简单,但监督学习仍然是我最喜欢的神经网络应用示例。诚然,学习数据的概率模型很酷,但通过反向传播解决现实世界的问题更令人兴奋。我们已经看到 Yann Lecun 成功解决了手写识别问题(一项在全国范围内继续用于扫描支票的技术,以及更多以后的技术),同时另一个明显且非常重要的任务正在同时进行:理解人类的声音。

    就像识别笔迹一样,理解人类的语言也很困难,而且同一个词可以有很多不同的含义,具体取决于它的表达方式。然而,还有一个额外的挑战:输入的长序列。你看,如果是图片,你可以从图片中剪下字母,然后神经网络可以告诉你字母是什么,输入输出模式。但语言并不是那么容易,将声音分解成字母是完全不切实际的,甚至试图在声音中找到单词也不是那么容易。而且您认为,在上下文中听到单词比单个单词更容易理解!输入输出模式虽然对一张一张的处理图片相当有效,但不适用于音频或文本等很长的信息。神经网络没有记忆来处理一个输入会影响随后的另一个输入的情况,但这正是我们人类处理音频或文本的方式——输入一系列单词或声音,而不是单独输入。要点:为了解决理解语音的问题,研究人员试图修改神经网络以处理一系列输入(如语音)而不是批量输入(如图片)。

    Alexander Waibel 等人提出的解决方案之一。(和 Hinton)在 1989 年的“使用时间延迟神经网络的音素识别”中被介绍。这些延迟神经网络与通常意义上的神经网络非常相似,只是每个神经元只处理输入的一个子集,并配备针对不同类型的输入数据延迟的几组权重。也就是说,对于一系列的音频输入,一个音频的“移动窗口”被输入到神经网络中,随着窗口的移动,每个具有几组不同权重的神经元都会根据音频定位在窗口中。,分配相应的权重,并使用该方法处理音频。画个图很容易理解:

    时延神经网络

    从某种意义上说,这类似于卷积神经网络——每个单元一次查看输入的一个子集,并对每个小子集执行相同的操作,而不是一次计算整个集合。不同的是,卷积神经网络没有时间的概念,每个神经元的输入窗口形成整个输入图像来计算结果,而时延神经网络有一系列的输入和输出。一个有趣的事实:根据 Hinton 的说法,延时神经网络的想法启发了 LeCun 开发卷积神经网络。但是,具有讽刺意味的是,卷积神经网络已成为图像处理的关键,而在语音识别中,时间延迟神经网络已被另一种方法循环神经网络 (RNN) 击败。你看,到目前为止讨论的所有神经网络都是前回归网络,这意味着一个神经元的输出是下一层神经元的输入。但不一定非要如此,没有什么能阻止我们勇敢的计算机科学家将最后一层的输出转换为第一层的输入,或者将神经元的输出连接到神经元本身。将神经元电路连接回神经网络,给神经网络记忆,它就被优雅地解决了。

    递归神经网络图。还记得以前的玻尔兹曼机吗?吃惊!这些是循环神经网络。

    然而,这并不容易。注意这个问题——如果反向传播需要依靠“前向传播”来反馈输出层的误差,那么如果第一层连接回输出层,系统是如何工作的呢?错误继续传播到第一层并返回到输出层,无限期地在神经网络中来回循环。解决方案是通过多个组独立推导随时间反向传播。基本上,通过一个神经网络的每个循环都作为另一个神经网络的输入,并且循环的数量是有限的,循环神经网络就是这样展开的。

    通过时间概念进行反向传播的可视化图示。

    这个非常简单的想法确实有效——可以训练循环神经网络。而且,很多人探索了RNN在语言识别领域的应用。但是,您可能听说过这种扭曲:这种方法效果不佳。为了找出原因,让我们来认识另一位深度学习巨头:Yoshua Bengion。1986年前后,他开始从事语言识别方向的神经网络研究,也参与了多篇使用ANN和RNN进行语言识别的学术论文,最后进入AT&T BELL实验室,Yann LeCun正是在这里征服了CNN。事实上,在 1995 年,两人共同发表了《图像、语音和时间序列的卷积网络》一文,这是他们的第一次合作,此后他们已经合作了很多次。然而,早在 1993 年,Bengio 发表了“A Connectionist Approach to Speech Recognition”。其中,他概括了有效训练 RNN 的一般错误:

    尽管在许多情况下循环网络可以胜过静态网络,但优化也更难训练。我们的实验倾向于表明(循环神经网络)的参数调整倾向于收敛于只考虑短期影响因素而不考虑长期影响因素的次优解决方案。例如,在所描述的实验中,我们发现 RNN 根本无法捕捉强加在单音素上的简单时间约束……虽然这是一个负面结果,但更好地理解这个问题可以帮助设计替代系统来训练神经网络,让它学习将输入序列映射到具有长期依赖关系的输出序列,例如用于学习有限状态机、语法和其他与语言相关的任务。由于基于梯度的方法显然不足以解决这类问题,

    新的冬日黎明

    所以有问题。一个大问题。而且,基本上,这个问题是最近最伟大的成就之一:反向传播。卷积神经网络在这里起着非常重要的作用,因为反向传播在具有多层的一般神经网络中表现不佳。但是,深度学习的一个关键是层数很多,目前的系统大约有 20 层。然而,在 1980 年代后期,人们发现用反向传播训练深度神经网络不如训练层数较少的网络有效。原因是反向传播依赖于在输出层中发现错误,并将错误的原因依次分类到前面的层中。然而,在如此多的层中,这种基于数学的归因方法最终会产生非常大或非常小的结果,另一位深度学习科学家 Jurgen Schmidhuber 说,这被称为“梯度消失或爆炸问题”。权威,给出更正式和更深入的概括:

    一篇学术论文(Hochreiter 于 1991 年发表)曾经对深度学习研究给出了里程碑式的描述。文章的 五、 部分提到,在 1990 年代后期,一些实验表明,前馈或递归深度神经网络很难通过反向传播进行训练(参见 5. 5)。Horchreiter 指出了一个主要的他研究问题的原因:传统的深度神经网络遭受梯度消失或爆炸的困扰。在标准激活状态下(参见 1),累积反向传播误差信号要么迅速收缩,要么超出界限。事实上前向和递归神经网络的区别,它们衰减或随着层数或 CAP 深度的增加而呈几何爆炸式增长(使神经网络的有效训练几乎不可能)。

    通过时间顺序来展平 BP 路径本质上与多层神经网络相同,因此使用反向传播训练循环神经网络更加困难。由 Schmidhuber 执导的 Sepp Hochreiter 和 Yoshua Bengio 都曾写道,由于反向传播的限制,学习长期信息是不可行的。分析问题后,其实是有解决办法的。Schmidhuber 和 Hochreiter 在 1997 年引入了一个非常重要的概念,最终解决了如何训练循环神经网络的问题,即长短期记忆(LSTM)。总之,卷积神经网络和长短时记忆的突破,最终只给正常的神经网络模型带来了一些小的变化:

    LSTM 的基本原理非常简单。其中一些单元称为恒定误差轮播 (CEC)。每个 CEC 使用一个激活函数 f,它是一个常数函数,并与自身具有固定权重 1.0 的连接。由于 f 的常数导数是 1.0,因此通过 CEC 的误差反向传播不会消失或爆炸(5.9),而是会保持原样(除非它们“流出”从 CEC 到其他一些地方,通常“流入”神经网络的自适应部分)。CEC 连接到许多非线性自适应单元(一些具有乘法激活函数),因此需要学习非线性行为。细胞重量变化通常受益于通过 CEC 及时传播的错误信号。为什么 LSTM 网络可以学习探索数千个离散时间步前发生的事件的重要性,而之前的循环神经网络在很短的时间步内都失败了?CEC是主要原因。

    但这对更大的感知问题没有多大帮助,因为神经网络很粗糙,性能也不是很好。与他们一起工作很麻烦——计算机不够快,算法不够聪明,人们不开心。因此,在 1990 年代左右,神经网络开始了一个新的 AI 寒冬——社会再次对它们失去了信心。开发了一种称为支持向量机的新方法,并逐渐发现它优于以前棘手的神经网络。简单地说,支持向量机是相当于两层的神经网络的数学最优训练。事实上,在 LeCun 1995 年的一篇论文《手写数字识别的学习算法的比较》中,讨论了这种新方法比以前最好的神经网络效果更好,至少也是如此。

    SVM 分类器具有非常好的准确率,这是最显着的优势,因为与其他高质量分类器相比,它不包含问题的先验知识。事实上,如果将一个固定的映射安排到图像的像素上,分类器也会表现良好。与卷积网络相比,它仍然很慢并且占用大量内存。但由于该技术仍然相对较新,因此可以期待改进。

    其他几种新方法,尤其是随机森林,也被证明是有效的,并得到了强有力的数学理论的支持。因此,尽管循环神经网络一直表现良好,但人们对神经网络的热情已经减弱,机器学习社区再次否认了它们。冬天又来了。在第 4 部分中,我们将看到一小群研究人员如何在这条崎岖不平的道路上前行,最终将深度学习带给大众,就像今天一样。

    参考:

    Anderson, CW (1989)。学习使用神经网络控制倒立摆。控制系统杂志, IEEE, 9(3), 31-37.

    Narendra, KS, & Parthasarathy, K. (1990)。使用神经网络识别和控制动力系统。神经网络,IEEE Transactions on,1(1), 4-27.

    Lin, LJ(1993)。使用神经网络的机器人强化学习(编号 CMU-CS-93-103)。卡内基-梅隆大学匹兹堡大学计算机科学学院。

    Tesauro, G.(1995)。时间差异学习和 TD-Gammon。ACM 的通信,38(3),58-68.

    Thrun, S.(1995)。学习下棋。神经信息处理系统的进展,7.

    Schraudolph, NN, Dayan, P., & Sejnowski, TJ (1994)。围棋中位置评估的时间差异学习。神经信息处理系统的进展,817-817.

    Waibel, A., Hanazawa, T., Hinton, G., Shikano, K., & Lang, KJ (1989)。使用延时神经网络的音素识别。声学、语音和信号处理,IEEE Transactions开, 37(3), 328-339.

    Yann LeCun 和 Yoshua Bengio。1998. 用于图像、语音和时间序列的卷积网络。在《大脑理论和神经网络手册》中,Michael A. Arbib (E()d.)。麻省理工学院出版社,剑桥,马萨诸塞州前向和递归神经网络的区别,美国 255-258.

    Yoshua Bengio,语音识别的连接主义方法。J.帕特。认识。神器。情报,07, 647 (1993).

    J.施米德胡伯。“神经网络中的深度学习:概述”。“神经网络”、“61”、“85-117”。

    Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen。文凭论文,Institutfur Informatik,Lehrstuhl Prof. Brauer,慕尼黑工业大学。顾问:J. Schmidhuber。

    本吉奥,Y。西马德,P。Frasconi, P.,“Learning long-term dependencies with gradient descent is hard”,载于神经网络,IEEE Transactions on,第 5 卷,第 2 期,第 157-166 页,1994 年 3 月

    Sepp Hochreiter 和 Jürgen Schmidhuber。1997. 长短期记忆。神经计算。9、8(199年11月7), 1735-1780. DOI=http://dx.doi.org/10.1162/neco.1997.9.8.1735.

    Y. LeCun、LD Jackel、L. Bottou、A. Brunot、C. Cortes、JS Denker、H. Drucker、I. Guyon、UA Muller、E. Sackinger、P. Simard 和 V. Vapnik:学习算法的比较手写数字识别,Fogelman, F. 和 Gallinari, P. (Eds),人工神经网络国际会议,53-60,EC2 & Cie,巴黎,1995

    ©本文由机器之心原创整理,授权请联系本公众号。

    ✄————————————————

    加入机器之心(全职记者/实习生):hr@almosthuman.cn

    投稿或寻求报道:editor@almosthuman.cn

    广告与商务合作:bd@almosthuman.cn

    机器之心是彗星实验室旗下的尖端科技媒体。Comet Labs是由联想之星发起并独立运营的全球人工智能和智能机器加速投资平台。携手全球领先的产业公司和投资机构,帮助创业者解决产业对接、用户拓展、全球市场、技术整合、资本等关键问题。其业务还包括:彗星旧金山加速器、彗星北京加速器和彗星垂直产业加速器。

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 微胖这是「神经网络和深度学习简史」的第三部分(下)

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论