最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 来源:AI前线本文共5000字,建议阅读10+分钟

    来源:AI前线本文共5000字,建议阅读10+分钟。在本文中,吴恩达回顾了2021年全球人工智能在多模态、大模型、智能语音生成、Transformer架构、国家人工智能法律措施等方面的主要进展。

    近日,机器学习大专家吴恩达在其人工智能周刊《The Batch》主编发表了最新文章。文中,吴恩达回顾了2021年全球人工智能在多模态、大模型、智能语音生成、Transformer架构、国家人工智能法律措施等方面的主要进展。

    日前,吴恩达发表了以“送玫瑰,手有香”为主题的圣诞贺词。

    随着 2021 年底的临近,您可能会减少为寒假做准备的工作量。我期待着下班休息一段时间,我希望你也这样做。十二月有时被称为给予的季节。如果您有空闲时间并想知道如何使用它ai遇到未知的图像结构,我认为我们每个人能做的最好的事情之一就是考虑如何帮助他人。历史学家和哲学家威尔·杜兰特曾经说过:“我们就是通过重复来完成的。” 如果你不断地寻求提升他人,它不仅会帮助他们,而且也许同样重要的是,它也会让你成为一个更好的人。你的重复行为决定了你是谁。还有一项经典研究表明,花钱在别人身上可能比把钱花在自己身上更快乐。所以,这个假期,我希望你能休息一段时间。休息,放松,充电!与您所爱但在过去一年中没有足够时间的人联系。如果时间允许,做一些有意义的事情来帮助别人。它可以是在博客文章上发表鼓励性的评论,与朋友分享建议或鼓励,在在线论坛上回答 AI 问题,或者为有价值的事业捐款。在教育和/或技术相关的慈善机构中,我最喜欢的是维基媒体基金会、可汗学院、电子前沿基金会和 Mozilla 基金会。

    Andrew Ng 还谈到了 AI 社区的发展。他说:AI社区从小就有很强的合作精神。感觉就像一群勇敢的先驱者在世界各地行进。人们渴望帮助他人,提供建议,互相鼓励ai遇到未知的图像结构,互相介绍。从中受益的人往往得不到回报,因此我们通过帮助追随者来回报。随着 AI 社区的发展,我希望保持这种精神。我承诺会继续努力建设人工智能社区。希望你也可以!

    我也希望您考虑各种大大小小的方式,以接触到 AI 社区之外的人。世界上还有很多地方没有先进的技术。我们的决定影响着数十亿美元和数十亿人的生命。这给了我们一个在世界上做好事的特殊机会。

    吴恩达回顾了2021年全球人工智能的进展,展望了2022年及以后人工智能技术的发展前景。

    回顾2021年

    在过去的一年里,世界一直在与极端天气、经济通胀、供应链中断和 COVID-19 病毒作斗争。

    在科技界,远程办公和在线会议已成为一年中的主旋律。AI 社区继续致力于连接世界和推进机器学习,同时加强其造福各种行业的能力。

    这一次,我们想重点关注2022年及以后人工智能技术的发展前景。

    多模式人工智能的起飞

    虽然仅针对文本和图像等任务的 GPT-3 和 EfficientNet 等深度学习模型引起了很多关注,但今年最令人印象深刻的是 AI 模型在发现许可证和图像之间关系方面的进展。

    背景资料

    OpenAI通过CLIP(实现图文匹配)和Dall E(从输入文本生成对应图像)开启了多模态学习的开端;DeepMind 的 Perceiver IO 开始对文本、图像、视频和点云进行分类;斯坦福大学 ConVIRT 尝试将文本标签添加到医学 X 射线图像中。

    重要基准

    尽管这些新的多模态系统大多处于试验阶段,但在实际应用中已经取得了突破。

    新闻背后

    今年的多模态发展源于跨越数十年的坚实研究基础。

    早在 1989 年,约翰霍普金斯大学和加州大学圣地亚哥分校的研究人员就开发了一种基于元音的分类系统来识别人类语音中的音频和视觉数据。

    在接下来的二十年里,更多的研究小组陆续尝试了多模态应用方案,例如数字视频库的索引和基于证据/视觉数据的人类情感分类。

    发展状况

    图像和文本是如此复杂,以至于研究人员只能长时间专注于其中之一。在此期间,他们开发了许多不同的技术成果。

    但在过去的十年里,计算机视觉和自然语言处理在神经网络中得到了有效的融合,使得两者的最终结合成为可能——甚至音频集成也获得了参与的空间。

    万亿级参数

    在过去的一年里,该模型已经从大到大。

    背景资料

    Google 以 Switch Transformer 开启了 2021 年,这是人类历史上第一个拥有万亿级参数的模型,总计 1.6 万亿。

    北京人工智能研究院回应1.75万亿参数2.0的启示。

    重要基准

    简单地拉起模型参数并没有什么特别的。但随着处理能力和数据源的增长,深度学习开始真正确立“越大越好”的发展原则。

    财力雄厚的 AI 供应商正以疯狂的速度堆积参数,以提高性能和锻炼肌肉。尤其是在语言模型方面,互联网厂商提供了大量无标签数据用于无监督和半监督的预训练。

    自 2018 年以来,这场参数级别的军备竞赛从 BERT(1.1 亿)、GPT-2(15 亿)、MegatronLM(83 亿)、Turing-NLG(170 亿)、GPT-3(175亿)一路走来,如今终于突破万亿级大关。

    不错,但是…

    该模型的通胀路线也提出了新的挑战。更大的模型给开发人员带来了四个巨大的障碍。

    AI界认识到数据质量将直接决定模型质量,但一直未能就大规模、高质量数据集的高效编译方法达成共识。

    为了减少延迟,Switch Transformer 背后的 Google 团队开发了一种方法,允许每个令牌仅处理模型层的子集。他们最好的模型预测的速度甚至比传统模型快 66%,而参数数量只有三分之一。

    此外,微软开发的 DeepSpeed 库选择了并行处理数据、层和层组的路线,并通过在 CPU 和 GPU 之间划分任务来减少处理冗余。

    当然,下一代 AI 加速芯片如 Cerebras 的 WSE-2 和谷歌最新的 TPU 都承诺减少排放,同时风能、太阳能和其他清洁能源的供应也在增加。相信人工智能研究对环境的破坏会越来越小。

    发展状况

    asura遇到未知错误_ai遇到未知的图像结构_百度网盘遇到未知错误

    自然语言建模排行榜的主力军还是千亿模型,毕竟万亿级参数的处理难度太高了。

    但可以肯定的是,未来几年会有更多的万亿级俱乐部会员加入,而且这种趋势还会持续下去。有传言称,OpenAI 规划的 GPT-3 继任者将包含更可怕的万亿级参数。

    人工智能生成的音频内容成为“主流”

    音乐家和电影制作人已经习惯使用人工智能驱动的音频制作工具。

    背景资料

    专业媒体制作人使用神经网络生成新声音并修改旧声音。配音演员自然对此不满。

    重要基准

    生成模型能够从现有记录中学习特征以创建令人信服的副本。还有一些制作人直接使用该技术来创造原始声音或模仿现有声音。

    不错,但是…

    争议不止于此。

    配音演员还担心这项技术会威胁到他们的生计。2015 年年度游戏《巫师 3:狂猎》的粉丝甚至使用该技术在同人圈的 mod 版本中重现原始配音演员的声音。

    新闻背后

    最近将音频生成主流化的趋势是早期研究的自然延续。

    发展状况

    生成音频和视频不仅为媒体制作人提供了修复和增强存档素材的额外能力,还允许他们从头开始创建新的、无法区分的素材。

    但由此产生的道德和法律问题也在增加。如果配音演员完全被AI取代,他们的损失谁来承担?在商业化作品中再现死者的声音涉及哪些权属纠纷?人工智能可以用来为已故歌手发行新专辑吗?这样做是否正确?

    一种运行一切的架构

    Transformer 架构正在迅速扩大其影响范围。

    背景资料

    Transformers 架构最初是为自然语言处理而开发的,但现在已成为深度学习的灵丹妙药。到 2021 年,人们已经在使用它来发现毒品、识别语音和图像等等。

    重要基准

    Transformers 在视觉任务、地震预测、蛋白质分类与合成等领域已经证明了自己。

    在过去的一年里,研究人员已经开始将其推向更广阔的新领域。

    新闻背后

    Transformer 于 2017 年首次亮相,并迅速改变了语言处理模型的设计方式。其自注意力机制可以跟踪序列中每个元素与其他元素之间的关系,不仅可以用于分析单词序列,还可以用于分析像素、视频帧、氨基酸、地震波等序列。

    大型基于转换器的语言模型已经建立了新的客观标准,包括对大型未标记语料库进行模型预训练、针对具有有限数量标记示例的特定任务进行微调等等。

    Transformer 架构良好的通用性,或许预示着未来我们会创造出可以解决很多领域很多问题的 AI 模型。

    发展状况

    在深度学习的发展过程中,几个概念迅速流行起来:ReLU 激活函数、Adam 优化器、注意力机制,以及现在的 Transformer。

    过去一年的发展证明,这种架构确实具有很强的生命力。

    政府出台与人工智能相关的法律

    各国政府正在制定新的法律和提案,以期控制人工智能自动化对现代社会的影响。

    背景资料

    随着人工智能对隐私、公平、安全和国际竞争的潜在影响,各国政府也开始加强对人工智能的监管。

    重要基准

    人工智能相关的法律往往反映了国家在政治秩序中的价值判断,包括如何在社会正义和个人自由之间取得平衡。

    今年4月发布的规则草案仍在立法过程中,预计未来12个月内不会实施。

    新闻背后

    AI 社区正在逐步走向监管层面的共识。

    最近对 534 名机器学习研究人员进行的一项调查发现,68% 的受访者认为模型部署确实应该重视信任和可靠性。受访者对欧盟和联合国等国际机构的信任度也普遍高于对国家政府的信任度。

    发展状况

    在中国以外,大多数与人工智能相关的法规仍在审查中。但从目前的提议来看,人工智能从业者必须为政府全面参与的必然前景做好准备。

    原文链接:

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 来源:AI前线本文共5000字,建议阅读10+分钟

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论