當(dāng)虹科技在“綻放杯”5G應(yīng)用征集大賽獲獎(jiǎng)：解決VR視頻三大痛點(diǎn)

近日，第四屆“綻放杯”5G應(yīng)用征集大賽——云XR專題賽決賽結(jié)果揭曉。

當(dāng)虹科技提交的“VR視頻端到端系統(tǒng)”相關(guān)項(xiàng)目，獲得專題賽創(chuàng)意獎(jiǎng)。

云XR專題賽，由中國(guó)信息通信研究院、5G應(yīng)用產(chǎn)業(yè)方陣、IMT-2020(5G)推進(jìn)組、中國(guó)移動(dòng)聯(lián)合主辦，中國(guó)移動(dòng)咪咕公司、中國(guó)移動(dòng)通信研究院、中移（成都）信息通信科技有限公司共同承辦。

旨在結(jié)合云XR（擴(kuò)展現(xiàn)實(shí)）產(chǎn)業(yè)發(fā)展需求，挖掘創(chuàng)新解決方案和應(yīng)用實(shí)踐，培育并孵化面向5G的云XR創(chuàng)新技術(shù)和產(chǎn)品，增添5G新動(dòng)能。

目前，VR（虛擬現(xiàn)實(shí)）視頻端到端業(yè)務(wù)系統(tǒng)，普遍存在內(nèi)容審核難、傳輸帶寬大，以及多畫面、多音軌音頻不易處理等問題。

當(dāng)虹科技協(xié)同生態(tài)合作伙伴提出的解決方案（下稱“方案”），能很好地解決這三大痛點(diǎn)。

內(nèi)容審核

當(dāng)前，業(yè)內(nèi)對(duì)VR視頻審核，主要采用和普通視頻一樣的審核方法。

因工作場(chǎng)景等因素，審核者往往不方便戴頭盔等設(shè)備對(duì)360°的VR 視頻進(jìn)行審核，且容易遺漏敏感內(nèi)容。如果直接觀看投射到平面前的VR矩形視頻，文字又會(huì)出現(xiàn)畸變等問題。

方案使用一種球面到平面的VR視頻投射內(nèi)容審核算法，可以將球面視頻畫面，以部分重疊的方式，投射到一個(gè)正方體的六個(gè)面上，然后使用人工或者智能審核系統(tǒng)進(jìn)行內(nèi)容審核，提高審核質(zhì)效。

視頻傳輸

比較常見的VR視頻傳輸方案，是全視角傳輸方案，即將 360°環(huán)繞畫面都傳輸給終端。當(dāng)用戶頭部轉(zhuǎn)動(dòng)，需要切換畫面時(shí)，所有的處理都在終端本地完成。

這對(duì)于傳輸來說是個(gè)極大的挑戰(zhàn)，成本也大大增加。

方案提出基于FOV（視角）的編碼傳輸技術(shù)，在終端相同觀看畫質(zhì)狀態(tài)下，較傳統(tǒng)VR視頻編碼算法可節(jié)省約70%左右的帶寬。

例如，典型的8K 50P VR視頻，只需20Mbps傳輸碼率，大幅降低了高質(zhì)量VR視頻對(duì)傳輸帶寬的需求。

音頻處理

當(dāng)前，業(yè)內(nèi)對(duì)多路VR音頻處理，需要人為選定某個(gè)視頻的音軌。當(dāng)觀看者通過旋轉(zhuǎn)觀看角度來切換視頻時(shí)，需要手動(dòng)調(diào)整播放音軌，不能做到動(dòng)態(tài)調(diào)整。

方案提出基于姿態(tài)感知的動(dòng)態(tài)音效處理技術(shù)，可根據(jù)用戶的姿態(tài)、相對(duì)位置來確定播放音頻。

而且，可根據(jù)音頻信息及時(shí)抓取感興趣的視頻，從而指引用戶進(jìn)行畫面切換，使VR視頻終端用戶獲得更好的沉浸式視聽體驗(yàn)。