最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 英伟达CEO黄仁勋:元宇宙离我们到底有多远,宇宙会带来那些改变?

    日前,英伟达CEO黄仁勋在一场引起广泛关注的演讲中使用了一段14秒的“数字人”视频,将专业人士的“数字人”乃至“元宇宙”带入了大众视野。

    澎湃新闻记者近日采访了三位英伟达技术专家,英伟达中国高级技术市场经理石承秋、英伟达高级解决方案架构师宋一鸣、英伟达中国媒体娱乐行业经理何战(文中,NVIDIA技术专家统称为技术专家)。告诉我们什么是数字人,什么是元界,元界离我们有多远,元界会带来什么变化?

    Nvidia 将自己定位为提供基本的底层服务架构。元界概念平台 Omniverse 就像一个工具箱和一个技术平台的基础,它集成了英伟达过去二十年来在 AI、HPC 和图形方面的技术、算法和标准。英伟达希望打造一个技术平台,服务于艺术家、创作者以及部分C端和B端用户。

    英伟达技术专家表示,Omniverse 为“数字人”引入了最接近“人”的面部表情和语言系统。相比之前繁琐的技术环节,现在只需要使用英伟达基于AI深度神经网络感知能力的对话式人工智能系统即可。,将文字变成丰富的面部表情,然后基于AI实时渲染系统叠加到虚拟人身上。英伟达认为,当能够实现数字与真实人类的交流与交互,实现真实与虚拟世界的交互时,将完美契合元宇宙的概念,而这个阶段将在五到十年之后.

    以下与 NVIDIA 技术专家的对话节选

    澎湃新闻:上周SIGGRAPH2021大会上播放了一部关于GTC Keynote演讲的纪录片,揭示了数字生成在幕前幕后的新应用。其中,一段14秒的视频是黄仁勋的“数字人”虚拟视频,引起广泛关注。注意。这里用到了哪些技术,请介绍一下数字人的发展。

    英伟达技术专家:黄仁勋演讲时有十多秒的虚拟化身,可视为数字人。事实上,数字人的概念可以看作是卡通人物或虚拟人物,它已经存在了很长时间。比如虚拟偶像开演唱会,日本动漫界也推出了几款形象非常丰满的虚拟偶像。这些与传统卡通人物最大的不同在于,他们不仅使用3D渲染技术让他们看起来更像一个人,而且还使用全息技术实现了裸眼3D,让他们站在舞台上唱歌都栩栩如生,这些都是传统概念中虚拟人的一些基本要素。

    但在英伟达看来,虚拟人是虚拟的,应该更接近“人”,即数字人。人与虚拟人物、卡通人物最大的区别在于,他们有感情,可以体验情绪,可以通过语言和表情实时表达情绪和情绪,这也是虚拟人的本质所在。也就是说,如果虚拟人的外观要栩栩如生,就需要使用NVIDIA GPU技术进行渲染,让皮肤、头发、服装、配饰等都符合自然界的物理规律。如果在角色跳舞的时候项链不动并粘在身上,就不是虚拟人,而是普通的3D动画。而如果十年前推出的虚拟人物和二十年后推出的虚拟人物头发一样,那也是不现实的。年轻人、中年人和老年人的头发系统不同,皮肤随着年龄的增长而增长。也不同。

    Omniverse(NVIDIA基于元界概念的虚拟协作和模拟平台)中的OmniSurface系统可以渲染不同的材质和表面,以及为数字人类提供一系列不同的渲染机制。利用 GPU 渲染可以让数字人更接近真人,这是数字人的第一个方面。

    第二个方面是RTX Render技术,即实时光线追踪技术。将数字人放置在虚拟环境中后,该环境具有照明系统和传统的路径跟踪系统。虚拟人会与周围环境交互,虚拟人与环境之间的多次光照迭代也会影响整个环境的全局光照。, OmniSurface plus RTX Render可以实现实时数字人(Digital Human)渲染,以及材质、POV渲染,从整个虚拟世界的metaverse概念来看,模拟城市等一系列复杂的生态环境系统、人、建筑物等。这可以通过 Omniverse 来完成,这是数字与环境的交互。

    最重要的是为数字人引入最接近“人”的情感和情感——表情和语言系统。Audio2Face 只需要一段文字,通过基于 AI 深度神经网络感知能力的 NVIDIA 对话式人工智能系统感知语言中的情感,将一段文字变成丰富的面部表情,然后根据关于AI实时渲染系统。在虚拟人身上。过去需要配音和口形适配,同时考虑当前语音和上下文,分离面部表情,重新渲染面部表情。整个过程太繁琐,时间、人力、物力成本太高。

    现在,Audio2Face、OmniSurface 和 RTX Render 的结合可以让数字人实时变得更加逼真和细致,不仅是虚拟内容,还可以以数字形式呈现“人”。在Omniverse的加持下,我们可以实现我们过去几十年对虚拟人的愿景。通过目前的软硬件技术和网络云原生的Omniverse平台,我们可以将数字人封装成更加​​真实、细致、一站式的解决方案。它更符合自然的物理规律,无论是人的皮肤、头发、配饰、服装,甚至是与周围环境和光线的相互作用,都能更好地实现。

    随着每个数字人周边环境的扩大,以及未来GPU算力和Omniverse平台能力的不断提升和版本迭代,我们终于可以实现元界的概念了。

    澎湃新闻:NVIDIA 的数字人类路线图是什么?什么时候可以实现假人与真人的交互?

    英伟达技术专家:英伟达在硅谷有专门的数字人类研究团队,路线图非常清晰。

    第一阶段是做like,使用CG(计算机动画)技术和实时光线追踪渲染技术做like。比如14秒的黄仁勋数字人头像现阶段已经非常成熟,很多平台都可以做到。只要有对CG艺术非常了解的专家和设计师,就可以收集到相关的动物数据、镜头,甚至是血流算法。把它叠起来。

    第二阶段,数字虚拟人是由一些要素驱动的。现在世界上可以驱动数字虚拟人的流行元素有3个:一个是视频,类似于短视频,做视频人物的一些动作,通过视频驱动一个非常相似的第一阶段数字虚拟人。另一种是“中间人”,这个概念来自日本,现在最合适的表现方式是演员穿着动作捕捉服,就像“中间人”驱动数字虚拟人一样大片的拍摄。另一类是语音语义。英伟达数字人类研究所选择了语音语义元素作为驱动数字人类的技术切入点。为什么选择它?在这三个类别中,

    英伟达在这里扮演什么角色?这里我们介绍一下新改名的开源平台——NVIDIA Riva,这是一个算法优化的平台。有一个功能模块叫Audio2Face,它可以通过一段音频驱动数字人脸表情的动作捕捉,就像正常人说话一样,实现口音形状和面部表情,细微的动作。所以,在黄仁勋的演讲中,别看这短短的14秒,里面包含了很多技术,包括一个Audio2Face。在通过动作捕捉收集所有的数字后,这些元素将涉及到嘴形的模拟和动作捕捉演员的驱动。

    第三阶段更加崇高,每个阶段需要两到三年的时间。我们认为第三阶段是数字虚拟人真正达到应用级产品化阶段的阶段,应该是五到十年之后。

    第三阶段神经网络c语言实现下,可以实现数字化仪与真人的交流与交互,也可以实现数字化仪与数字化仪的交流与交互。这也称为现实世界和虚拟世界之间的交互。宇宙的概念。

    澎湃新闻:进入虚实人交互第三阶段的条件是什么?

    NVIDIA技术专家:第一阶段其实已经很成熟了,已经有很多平台可以做到了。第二阶段是初始阶段。我们的一些客户合作伙伴已经达到了起步阶段,并且已经向市场交付了许多算法。可以看到,很多语音播音员背后的逻辑都是二次元技术。我们认为这个阶段将在两到三年后达到成熟。

    再过两三年,就会进入第三阶段的初步发展和萌芽阶段。五年左右的时间点是一个非常重要的时间点。在那个时间段内,NVIDIA GPU平台的计算能力,包括它自己的各种算法,到那个时候都会有非常大的提升和提升。当每个人都是生态系统中的数字虚拟人平台和创造者时,在过去的三到五年内会有非常大的训练集驱动到3.0时代。五年是有可能进入3.0时代的时候,也是真正能与现实世界和物理世界交互的数字人类应用出现的时候。

    举个很有意思的例子,大家都知道现在去银行分行,柜台不超过50到100次。该银行现在正在考虑将所有分支机构都变成数字虚拟人,并通过 AR 技术取代目前的手动窗口销售员。这些应用在各行各业都看到了,所有的企业都看到了,这就是为什么我们认为数字虚拟人的市场需求如此旺盛,也因为客户和市场驱使我们去挑战新技术。

    澎湃新闻:刚才讲了虚拟数字人的技术应用,比如银行、政务、商务场合。有没有见过可以先实现的场景?

    英伟达技术专家:职业很多,我可以和大家分享英伟达做过的数字虚拟人案例。比如数字主持人,像《飞向月球》第二季,我们重构了央视某纪录片频道的著名主持人。然后是数字导购、数字4S店销售、数字导游,包括现在的数字橱窗售货员。另一个类别非常有趣。如果你关注Instagram这个国外流行的社交媒体网络,就有数位明星。去年疫情最严重的时候,日本曾做过一项调查,发现日本市场上最受欢迎的明星之一其实是数字虚拟人。她在推特上拥有数百万粉丝,所以IP营销公司相当于创造了一个数字虚拟人。数字模拟器。包括电影《双子座男人》也是数字人的一种体验形式,而国内数字王国中“滕丽君”“张国荣”的数字IP应用,我们见多了很多,雨后春笋般的. 还有越来越多的流媒体平台。

    澎湃新闻:Omniverse 是 NVIDIA 推出的全球首个协作平台,旨在为 Metaverse 的建立提供基础。您推出 Omniverse 的初衷和机会是什么?

    NVIDIA技术专家:今年不是Omniverse元年。NVIDIA 在 2019 年提出了 Omniverse,并为这个平台布局了很长时间。我们都知道元界的概念,元界。其核心技术要素包括AI、区块链、VR/AR/MR等XR技术、视觉渲染技术。这些技术近年来一直处于集中爆发期,现在我们进入了5G时代,为现实世界与数字虚拟世界的交互提供了充足的带宽和技术基础。这些因素促成了 1992 年提出的元宇宙概念,该概念现在是一个热门话题。NVIDIA涉足这些技术,所以在这个契机下,提出了NVIDIA所理解的元界概念平台——Omniverse。我个人认为,创建元界的数字虚拟空间就像NVIDIA的奇点一样,也可以称为技术平台的基础。它就像一个工具箱。在创建数字虚拟空间时,如果需要螺丝,可以在这里拿螺丝,如果需要剪刀,可以拿剪刀。NVIDIA希望搭建一个技术平台,服务于艺术家、创作者以及部分C端和B端用户,实现元界。

    澎湃新闻:Omniverse主要提供哪些产品和服务?目标服务对象和行业有哪些?

    NVIDIA技术专家:Omniverse中有五个核心组件,包括Nucleus、Connect、Kit、RTX Render、Simulation,这些是我们的技术基础。Nucleus 提供了云原生技术的基础。RTX Render 最多可以调用云端 48 个 GPU 提供同步渲染机制,解决了很多行业的痛点。例如,很多客户只能在自己的工作站中调用 GPU 资源。管理仍然基于传统的第三方工具,无法与产品挂钩。Kit 组件向开发人员展示了 NVIDIA 的图形计算和 AI 技术,他们可以使用 KIT 创建自己的工作流程。这些是针对具有强大开发能力的用户的。对于终端用户,开发能力较弱的用户,英伟达也打造了一些服务,例如为设计师创建小部件。还有适用于 AEC 建筑行业的 View,Issac Sim,它有助于学习机器人模拟结构,可以使用渲染效果进行可视化,以及即将推出的无人模拟平台 Drive Sim。这些是 Omniverse 提供的产品和服务。Create、View、Drive Sim 和 Issac Sim 往往是面向最终用户的产品,而服务包括五个核心中的 Nucleus、Kit、RTX Render、Simulation 和 Connect。第三方 DCC(数字创建内容)工具集成到 Omniverse 平台中,通过 USD 方法进行加速。即将推出的无人仿真平台。这些是 Omniverse 提供的产品和服务。Create、View、Drive Sim 和 Issac Sim 往往是面向最终用户的产品,而服务包括五个核心中的 Nucleus、Kit、RTX Render、Simulation 和 Connect。第三方 DCC(数字创建内容)工具集成到 Omniverse 平台中,通过 USD 方法进行加速。即将推出的无人仿真平台。这些是 Omniverse 提供的产品和服务。Create、View、Drive Sim 和 Issac Sim 往往是面向最终用户的产品,而服务包括五个核心中的 Nucleus、Kit、RTX Render、Simulation 和 Connect。第三方 DCC(数字创建内容)工具集成到 Omniverse 平台中,通过 USD 方法进行加速。

    Omniverse分为to C端和to B端。C端消费者个人版面向个人,全部免费提供给用户,下载链接发布在官网、微信公众号等渠道。To B 端是 Omniverse Enterprise,将于今年秋季发布。功能会更加完善和强大。这是一个付费版本。

    澎湃新闻:对于英伟达来说,它希望在未来的元宇宙中处于什么位置,或者它扮演什么角色?

    英伟达技术专家:英伟达的定位应该是提供基础的底层服务架构。Omniverse 是一种工具,可让各种 ISV、开发人员和用户创建自己的内容。近几年很流行的一个名词叫做UGC,User-generated Content,即用户生成的内容。在我们给用户工具之后神经网络c语言实现下,让用户基于各种创造性思维,创造出逼真的世界和高度还原的事物。NVIDIA 从底层提供技术基础和工具开始。就像之前的加州淘金热一样,我们提供了基本的工具和铲子。当然,这个技术铲的门槛可能比较高。与淘金热不同,该技术相对原始。我认为是这样的立场。

    澎湃新闻:如果要解决算力问题,现在世界算力能达到什么水平?未来实现元宇宙的算力有多大?两者之间的距离有多难或多远?

    NVIDIA技术专家:现在我们从一个小宇宙搞元宇宙,比如模拟一个房子到一个小社区,或者一个小区域,慢慢的把每个人和事物连接起来,整体的计算能力应该是很大的,第一步是能够调用多种类型的 GPU 来加速这样的过程。我们回到 Omniverse 本身的架构,它可以同时调用云端 64 个 GPU 来渲染一个场景,但是随着后面技术的不断变化,会有更多的 GPU,成百上千个 GPU 来加速同时一个metaverse场景,现在我们调用64个GPU来加速这样一个场景。

    澎湃新闻:中国也有很多公司在部署元界。您如何看待元界在中国市场的机遇?

    英伟达技术专家:实际上,元界不是一家公司就能实现的,需要一个整体和多个平台的共同努力。这里有很多玩家,全球有Facebook、微软、Roblox、英伟达,包括在国内做的腾讯,全周期互联网是一个点对点的平台。只有这么多玩家一起才能实现。国内有很多数字孪生和数字资产库的这些生态伙伴,也和我们合作很多,都在贡献自己的力量。他们也期待通过这个概念平台的兴起,会出现新的流行产品。

    我想借此机会与大家分享一个客户发布的加州大火燃烧和蔓延趋势的模拟。为什么 NVIDIA 理解的元宇宙不同于 Omniverse 以及仅限于游戏世界的元宇宙?这里有一个图形的概念。这些都是假的,只是模拟火的燃烧,然后结合AI技术,当地风向,湿度,树木分布图,燃烧时火焰是如何传播的,这些视频技术的模拟可以帮助消防负责人快速决策也是一个非常经典的案例,我们现在真正服务于各种需求。

    (本文来自澎湃新闻,更多原创资讯请下载“澎湃新闻”APP)

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 英伟达CEO黄仁勋:元宇宙离我们到底有多远,宇宙会带来那些改变?

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论