最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 深度学习的瓶颈是否真的已经到来?问题,本文将分为上下篇

    编者按 深度学习作为一类机器学习方法,是实现人工智能的重要基础。近期,有学者认为,随着人工智能的发展,深度学习的短板越来越突出,“瓶颈来了”。深度学习的瓶颈真的来了吗?对此,本文将分两部分,讨论深度学习的优缺点,以及改进方法,为读者梳理专家学者的不同思考。

    不久前,一、约翰霍普金斯大学教授、全球人工智能计算机视觉领域的创始人艾伦·尤勒提出“深度学习(Deep learning)已经达到计算机视觉领域的瓶颈”的观点。 ,引起了业内众多专家的共鸣和热烈讨论。

    目前,作为实现人工智能的一种形式卷积神经网络有没有正则化,深度学习旨在更接近地模仿人脑。那么,业内专家学者是否认同这种说法?作为人工智能技术的重要基础,深度学习的发展遇到了哪些困难?如果达到深度学习瓶颈,我们该如何解决这个问题?带着相关问题,科技日报记者近日采访了国内外知名人工智能专家,对余乐教授的观点进行了深入解读。

    深度学习的复杂性

    最初,深度学习刚进入大多数人工智能研究人员的视线时受到了冷落,但短短几年时间,它的触角已经延伸到许多高科技领域,横跨谷歌、微软、百度,甚至推特。

    许多高科技公司热衷于探索一种特殊形式的深度学习——卷积神经网络。卷积网络由相互连接的卷积层组成,很像大脑中处理视觉信息的视觉皮层,只是它在图像的多个位置重复使用相同的过滤器。一旦卷积网络学会识别一个位置的人脸,它也可以自动识别其他位置的人脸。这一原则也适用于声波和手写文本。

    业内人士认为,卷积神经网络可以使人工神经网络得到快速训练,因为“较小的内存占用不需要为图像中的每个位置单独存储滤波器,这使得神经网络成为创建可扩展深度网络的理想选择”。这也赋予了卷积神经网络擅长识别模式的优势。正是基于此,谷歌开发了安卓手机的语音识别系统,百度开发了新的视觉搜索引擎。

    当然,让卷积神经网络正常工作需要强大的计算机和庞大的数据集,而在收集数据或计算平均值方面并不完美。

    卷积神经网络的支持者兼 Facebook 人工智能实验室负责人 Ian LeCun 表示,当今使用最广泛的卷积神经网络几乎完全依赖于监督学习。这意味着如果卷积神经网络要学习如何识别特定对象,则必须对多个样本进行注释。另一方面,无监督学习可以从未标记的数据中学习,这更接近人脑的学习方式。在此基础上开发的反向传播算法可以有效地降低错误率,但不太可能反映人脑的工作机制。

    “我们对大脑的学习方式几乎是全新的,”LeCun 说。“虽然已经知道神经元突触可以自我调节,但大脑皮层的机制尚不清楚,最终的答案是无监督学习是一种更接近人脑的学习方式,但它无法回答大脑的认知机制。”

    瓶颈突出,需警惕

    “虽然深度学习优于其他技术,但并不具有普适性,经过几年的发展,其瓶颈已经凸显。” 不久前,艾伦·尤勒指出。

    卷积神经网络有没有正则化_l1正则化与l0正则化_神经网络算法正则化

    根据 Yule 的说法,深度学习有三个主要限制:首先,深度学习几乎总是需要大量的标记数据。这使得视觉研究人员过度关注易于标记的任务,而不是重要的任务。

    其次,深度网络在基准数据集上表现良好,但在数据集之外的真实图像上可能会失败。特别是,深度网络难以应对数据集中不经常发生的“罕见事件”。在实际应用中,这些情况具有潜在风险,因为它们相应的视觉系统故障可能会产生可怕的后果。例如,用于训练自动驾驶汽车的数据集几乎从不包括“坐在路上的婴儿”。

    第三,深度网络对图像的变化过于敏感。这种过度敏感不仅反映在图像中不易察觉的变化的标准中,而且还反映在上下文的变化中。由于数据集的大小有限,过度敏感会导致系统的错误判断。由此产生的图像变化很难欺骗人类观察者。

    例如,在丛林中一只猴子的照片中,PS 了一把吉他。这会导致 AI 将猴子误认为人类,将吉他误认为鸟类。大概是因为它认为人类比猴子更可能携带吉他,而鸟类比吉他更可能在附近的丛林中。

    Yule 认为,瓶颈背后的原因是一个叫做“组合爆炸”的概念:在视觉领域,从组合学的角度来看,现实世界中的图像量太大。任何数据集,无论有多大,都很难表达现实的复杂性。更重要的是,每个人选择的对象和放置的对象都不同卷积神经网络有没有正则化,创建的场景数量可以成倍增长。而这需要一个无限大的数据集,这无疑对训练和测试数据集提出了巨大的挑战。

    业内专家表示,虽然这三个限制不会扼杀深度学习,但都是迫切需要警惕的迹象。

    “死”值得商榷

    去年,一位深度学习领域的知名学者在 Facebook 上发表了一篇令人震惊的声明,称深度学习已死,在业界引起轩然大波,以至于现在在线机器学习社区的一些人说,深度学习是死路。

    “我认为‘深度学习已死’的说法来自业内人士,他们非常看好深度学习,然后意识到它的局限性。而局限性并不意味着事情已经死了,我们可以给它加点东西。” Marc法国泰雷兹集团首席技术官埃尔曼告诉科技日报记者。

    “我不同意‘深度学习已死’的说法。” 新一代人工智能产业技术创新战略联盟联合秘书长、科大讯飞副总裁、人工智能研究院联席所长李世鹏指出。

    李世鹏表示,深度学习作为计算科学领域的一种新方法,当然有其自身的局限性和缺陷。这个被外界炒作为通用AI工具的AI工具,在科学界一直被谨慎对待。从一开始,大家就知道它的一些局限性,比如依赖标记的大数据,不可解释性,没有推理功能,对于包含在训练集中的样本效果很好,但是对于不包含的样本效果很差,系统模型不稳定(相对于人类智能,抗扰动攻击的能力比较差)等

    “我很赞同于乐教授的客观说法,深度学习在计算机视觉领域的瓶颈已经到了,尤其是在他讨论这个问题的这个时间点上,很有必要,而且在方向上有一丝矫枉过正。现在大家对深度学习感兴趣,热情有点过头了,而且在学术界,甚至在工业界,似乎都是‘非深度学习非AI’,其实这是个大问题,因为深度学习真的只是人工智能领域的一门学科,实现的都是比较狭隘的成功经验。” 远望智库人工智能事业部主任、图灵机器人首席战略官谭明洲指出。

    总而言之,李世鹏表示,深度学习已死的说法值得商榷。未来,深度学习将对人工智能的发展起到积极的推动作用,具有巨大的应用价值。同时,科学家们已经明确了深度学习的固有缺陷和局限性,并正在尝试一些方法来弥补其现阶段的不足。发展不足,探索下一代人工智能在各自领域的突破。

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 深度学习的瓶颈是否真的已经到来?问题,本文将分为上下篇

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论