热点:

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新

      [  中关村在线 原创  ]   作者:徐鹏

          随着5G、4K/8K、AI等技术红利的快速落地,人们的生产和生活也早已从需求实现迈向体验升级,多元化的互动需求丰富了听视觉的感官体验,而如何让炫酷的数字技术变成现实,则是对背后技术架构和软硬件平台的考验。“在疫情影响下,人们对于广电传播领域的内容需求日益增长,对质量的要求愈发严苛。5G的全面商用以及大数据、人工智能等技术的大范围推行,将重新定义并塑造整个行业,这就对技术(无论是硬件、软件层面)都带来了全新的挑战。”NVIDIA专业可视化亚太区业务主管沈威表示,“NVIDIA在计算机图形和人工智能领域有很成熟的技术,通过与国内外行业领导者进行合作,我们在广电传播领域有着很多落地的实际应用。”

          北京国际广播电影电视展览会(BIRTV)期间,连续多年参会的NVIDIA携手Epic Games、新奥特、博采传媒、强氧技术、当虹科技等合作伙伴,与Mellanox一同展现了NVIDIA Turing架构的Quadro RTX GPU和RTX平台、基于深度学习方法的NVIDIA NGX SDK,以及可实现实时离线渲染、加速桌面渲染以及提供虚拟工作站性能的NVIDIA RTX服务器等产品或技术在广播电视行业的应用实践。

          不同于传统的“离线式”渲染、预录式内容,或是单向收看,有了5G的更大带宽、更低时延,内容互动形式更加鲜活,不仅在感官上有了多声道的支持,广告主还可以在内容播放过程中实时插入商业元素,提升了和用户的互动性,更有不少直播、短视频场景融入了各类基于人工智能的应用,带来了更有乐趣的使用体验。这种智能化的体验还体现在精准内容的获取,推荐系统可以将图像、视频等各种类型的内容分发到各类用户终端,在NVIDIA GPU的助力下,能够对视频内容进行管理、分类、标签、发放、预判,在用户搜索之前就可依据其喜好来精准推送。同时,NVIDIA GPU在硬件上也配备了专业的8K编码和解码芯片,可以进行实时编辑,满足了用户对于视频制作和观看“快”的需求。

          “行业趋势正在从OTT向SVOD过度,这对于用户来讲非常重要,OTT市场预计在2025年达到3300亿美金的规模。我们看到好莱坞非常多六七十年代、甚至三四十年代的片子,包括胶片版的片子,可能连1080P都达不到,都可以在今天拿出来重做。比如一个黑白电影重新利用AI的方式上彩、上色,再通过数字化做到1080P甚至4K,今后很可能还能做到8K,重新发行蓝光牒甚至更高清晰度的内容。”NVIDIA中国区高级技术市场经理施澄秋说。利用NVIDIA的实时光线追踪技术和深度学习技术,开发商或内容创作者可以借助AI进行边缘反锯齿处理和超采样处理,让虚拟角色更加生动,NVIDIA RTX则为参与内容创作不同环节的人员提供了实时互动的环境,大幅降低了时间、物料、制造的成本。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    Turing架构Quadro GPU RTX 5000渲染效果对比

          对于一些残缺的画面或是缺少像素的素材,NVIDIA的NGX技术会利用深度神经网络自动完成画面的修补、美化和降噪,以此来塑造出栩栩如生的鲜活感。例如游戏或3D动画开发人员在渲染千军万马互动的画面时,传统的做法是画一匹马后复制粘贴成千军万马,处理起来较为机械,每匹马的外貌和运动轨迹也基本一致,如果是美工来画的话,内容的制作周期会非常长。借助NVIDIA NGX,只需要定义“我需要马”,之后各种马的颜色、样式都会“一键生成”,视觉效果也更加生动。此外,NVIDIA的AI技术还可以实现SUPER-RES(超级分辨率)。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    NVIDIA SUPER-RES

          当虹科技利用NVIDIA智能视频解决方案,面向广电传媒和互联网视频领域提供了广泛的视频云服务,例如通过超级分辨率将清晰度质量偏低的视频源转码为适合广电播出的内容。当虹科技的“超分离线增强系统”可以进行移动回传,用4G把码率较低的移动设备现场采集的信号,将早期的文件素材或光盘中的低分辨率素材进行实时、在线或离线的基于AI的转码,使之符合4K/8K视频播出的要求。同时,使用CDN和网络优化技术,还能让互联网平台的受众看到基于当虹科技收录系统转码的超分产品,以及完善的4K和8K非编系统。

          除了GPU平台的支持,网络架构同样直接影响了图像传输的质量。传统的SDI传输方式在超高清业务下难以应对带宽快速增长的趋势,组网成本和传输距离都遇到了瓶颈。而在数据中心领域,400G带宽或许给SDI向IP转型给出了方向,不过也会随即引出另一个问题:网络协议栈变得复杂了。那么,如何解决SPI转向IP后CPU的高负载,并降低服务器的购置成本呢?为此,NVIDIA Mellanox提供了软件解决方案Rivermax,以解决SDI转向IP化之后,用IP满足SDI传输的标准问题。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    Rivermax特性

          其中,Packet Pacing会让发送的流量带宽符合设备要求,Kernel Bypass可以将CPU处理网络协议栈大量的负载放在网卡进行,大幅度降低CPU负载,Frames则会让网卡自动把每一行像素包接收完后整合成一张图画,传输给CPU进行后期处理,这部分计算工作完全由网卡来完成,能够进一步降低CPU使用率,之后再经过“云化”,大幅增值服务器价值,开拓更多的市场应用。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    视频流硬件冗余,保障设备高可用

          NVIDIA Mellanox 高级市场开发经理陈龙表示:“当我们设备IP化之后,不仅解决了传输带宽不足、传输距离过短的痛点,还降低了整个设备的采购成本。除此之外,因为本身IP是一个弹性的管道,在IP之上能够传输任意格式的报文。像现在丰富的HR63、65这样的视频压缩性格式的报文数据,就可以通过IP化的管道传入到服务器上来。对于传统的SDI接口方式来说,这些业务的扩展和部署是不可想象的。”

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    Rivermax应用案例

          成立于1990年的新奥特致力于在数字媒体领域提供领先的内容生产和运营发布,其石墨超高清在线图文产品与NVIDIA在显示技术方面进行了合作,借助RTX 8000、5000系列等产品实现了4K、8K的超高清呈现,包括屏幕信号播出、超高清在线包装、超高清虚拟植入、大屏等应用,并利用CUDA架构实现了HDR空间变换。同时,新奥特还采用CUDA显卡作为核心渲染,将整个信号通过显卡实时渲染出高质量图文在线包装,并通过4K的IP、4K的SDI进行同步播出。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    “石墨”8K/4K HDR的实现

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    4K应用示例

          “8K技术已逐步成熟,基于8K的渲染才是核心。我们采用Quadro GV100显卡,在整个8K字幕上,通过了NVIDIA显卡的高效处理能力实现字幕的迭代。我们第一个8K字幕也是使用NVIDIA显卡,达到了超高清的高质量字幕输出。在第二代8K字幕中,我们采用了1-2块Quadro RTX 8000显卡,这个显卡在性能上更加丰富,能够帮助我们实现更多层次的超高清8K输出,包括2路8K,还有支持HDR8K的2SI。借助NVIDIA的能力,我们在整个8K图形图象图文制作上不断迭代、不断输出。”新奥特产品中心总监王宁称。

          此外,新奥特在虚拟应用方面也是用了NVIDIA的产品,通过采用OpenGL Shader实现了真实虚拟背景的处理,基于NVIDIA显卡,可以实现更多的虚拟化功能和超实时的虚拟渲染,以达到真实的虚拟呈现。

          在迪士尼新剧《曼达洛人》中,很多场景都用到了NIVIDIA In-Camera VFX技术,为图像渲染、场景合成、后台控制、天气/灯光调整等操作提供支持,实时反映出拍摄时的具体情况,让演员的表演更加从容。Epic Games China商务发展经理徐良安表示:“如果全片运用In-Camera VFX会产生大量的制作成本,现场会有大量飞行器,需要用到多台摄像机,但《曼达洛人》团队却坚持用了我们的技术,因为In-Camera VFX最大的优势在于它的灵活性。”除此之外,NVIDIA的RTX实时光线追踪等技术还也为Unreal Engine 5提供了很大的助力。

          2017年上映的《昆塔:反转星球》是第一部全部用GPU渲染而成的动画电影,博采传媒也是全国首个采用GPU渲染整片的制作公司。博采传媒前期部总监沈辰奇介绍称:“我们选择了NVIDIA RTX 8000,基于nDisplay技术,驱动1.8亿个像素的点对点实时驱动。在实际拍摄的时候,摄影基地背后的景深跟透视的变化是实时跟拍的,物理镜头是完全同步且可以匹配的。革命性的意义就在于,我们需要把后期合成的环节彻底砍掉。哪怕不是彻底砍掉,也要把80%或90%的合成环节取代掉。也就是说,我们想做到‘所见即所得’的拍摄制作流程。我们把这块屏取名为‘Volume Plus’。”

          解决拍摄背景的问题之后,博采传媒希望做一个可以取代真人进行表演并传达情感的电影角色,为此开发了基于超写实的数字人项目。“数字人项目”的制作基于RTX系列的实时运算技术,所有的毛发、布料、表情与身体驱动都是在实时的基础上运行的。由此,博采传媒希望实现“虚拟流水线+Volume Plus屏幕虚拟背景设置+虚拟演员”,在完全虚拟的环境下创作电影,即实时高效的电影制作流程。“我们对虚拟拍摄流程的愿景和规划,是希望通过这个技术手段加速整个技术周期的更迭,提高运算的周转率。同时,虚拟制片技术也为演员和制作团队带来了革命性的便利。”博采传媒前期部副总监陈磊说。

    刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新
    Virtual Pipeline + Volume plus virtual set + Virtual actor

          “达芬奇调色板”的代理商强氧科技,利用NVIDIA Turing架构的Quadro RTX GPU实现了基于AI的多种视频处理,包括面部追踪、面部打光、图像移除等等。“用户在使用NVIDIA GPU之后,整个帧率的提升非常强大,比CPU提升了数倍之多,这对于广电从业人员而言是人力、物力、时间成本的节约。如果需要卡一个档期的票房,可能某一个剧集或者影片就能赶上,但如果没有使用NVIDIA GPU可能会赶不上,NVIDIA GPU能真正带来事半功倍的效果。”强氧技术工程师张希蒙称。

          可以看到,广电行业是NVIDIA Quadro、Turing架构在中国市场落地的重要应用领域,基于RTX和RTX Server平台实现了约五十种AI类的方案实践,例如RTX Server在实时渲染、在线协同、加速渲染等方面就有了大量应用。在施澄秋看来,广电行业的发展趋势与NVIDIA的技术创新不谋而合,也正因如此,NVIDIA不仅会有在设计、渲染等传统领域应用,还有疫情期间为远程办公、虚拟化等所做出的及时响应,更有与合作伙伴快速落地的各种AI应用,“不止是电视台、影视制作公司,还有国内比较火的视频直播平台,大家耳熟能详的各个平台都在应用我们的技术,这些都是我们在脚踏实地服务的广电行业的客户。未来我们会结合NVIDIA GPU、还有更庞大的全球软件网络和AI合作伙伴,一如既往地交付更好的服务。”

    本文属于原创文章,如若转载,请注明来源:刷新你的视觉新体验 NVIDIA携手生态伙伴加速场景创新//smartcity.zol.com.cn/751/7514202.html

    smartcity.zol.com.cn true //smartcity.zol.com.cn/751/7514202.html report 8386   随着5G、4K/8K、AI等技术红利的快速落地,人们的生产和生活也早已从需求实现迈向体验升级,多元化的互动需求丰富了听视觉的感官体验,而如何让炫酷的数字技术变成现实,则是对背后技术架构和软硬件平台的考验。“在疫情影响下,人们对于广电传播领域的内容需求日...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品

    内容纠错