启辰合智科技在“绽放杯”5G应用征集大赛获奖:解决VR视频三大痛点
近日,,,第四届“绽放杯”5G应用征集大赛——云XR专题赛决赛结果揭晓。。。
启辰合智科技提交的“VR视频端到端系统”相关项目,,,获得专题赛创意奖。。。。
云XR专题赛,,由中国信息通信研究院、、、、5G应用产业方阵、、IMT-2020(5G)推进组、、、中国移动联合主办,,,中国移动咪咕公司、、中国移动通信研究院、、中移(成都)信息通信科技有限公司共同承办。。。
旨在结合云XR(扩展现实)产业发展需求,,挖掘创新解决方案和应用实践,,,培育并孵化面向5G的云XR创新技术和产品,,,,增添5G新动能。。。。
目前,,,VR(虚拟现实)视频端到端业务系统,,,普遍存在内容审核难、、、传输带宽大,,以及多画面、、多音轨音频不易处理等问题。。。。
启辰合智科技协同生态合作伙伴提出的解决方案(下称“方案”),,能很好地解决这三大痛点。。。。
内容审核
当前,,业内对VR视频审核,,主要采用和普通视频一样的审核方法。。。。
因工作场景等因素,,,,审核者往往不方便戴头盔等设备对360°的VR 视频进行审核,,,,且容易遗漏敏感内容。。如果直接观看投射到平面前的VR矩形视频,,,文字又会出现畸变等问题。。
方案使用一种球面到平面的VR视频投射内容审核算法,,,,可以将球面视频画面,,,,以部分重叠的方式,,投射到一个正方体的六个面上,,,,然后使用人工或者智能审核系统进行内容审核,,,提高审核质效。。
比较常见的VR视频传输方案,,,是全视角传输方案,,,,即将 360°环绕画面都传输给终端。。。当用户头部转动,,,,需要切换画面时,,,所有的处理都在终端本地完成。。。。
这对于传输来说是个极大的挑战,,成本也大大增加。。。
方案提出基于FOV(视角)的编码传输技术,,,在终端相同观看画质状态下,,,较传统VR视频编码算法可节省约70%左右的带宽。。。。
例如,,典型的8K 50P VR视频,,,,只需20Mbps传输码率,,,,大幅降低了高质量VR视频对传输带宽的需求。。
音频处理
当前,,业内对多路VR音频处理,,,,需要人为选定某个视频的音轨。。当观看者通过旋转观看角度来切换视频时,,需要手动调整播放音轨,,,不能做到动态调整。。
方案提出基于姿态感知的动态音效处理技术,,可根据用户的姿态、、、、相对位置来确定播放音频。。。
而且,,,可根据音频信息及时抓取感兴趣的视频,,,从而指引用户进行画面切换,,使VR视频终端用户获得更好的沉浸式视听体验。。。


扫码领资料
扫码看视频