產(chǎn)品經(jīng)理說(shuō)|沉浸式三維聲，如何打開視聽新體驗(yàn)？

01

Q：沉浸式體驗(yàn)為什么需要三維聲？

@興哥：

視聽不分家，從標(biāo)清、高清到如今的4K/8K超高清，視頻的清晰度不斷躍升。聲音也經(jīng)歷了從單聲道、立體聲、環(huán)繞聲到三維聲的演進(jìn)。

真實(shí)世界的聲音來(lái)自環(huán)境的四面八方。對(duì)比目前主流的環(huán)繞聲（例如5.1和7.1），三維聲打破了傳統(tǒng)平面聲場(chǎng)的限制，在水平基礎(chǔ)上增加“垂直高度感”，將聲音還原到了和真實(shí)世界一樣的立體空間。

杜比全景聲系（Dolby Atmos）是大眾比較熟知的三維聲技術(shù)標(biāo)準(zhǔn)。我國(guó)自主知識(shí)產(chǎn)權(quán)標(biāo)準(zhǔn)的三維菁彩聲（Audio Vivid）也已正式進(jìn)入推廣落地階段。

沉浸式的三維聲配合高清晰度、高色彩還原度的超高清畫面，能夠真實(shí)再現(xiàn)場(chǎng)景，給觀眾以更具沉浸感、參與感的體驗(yàn)。

02

Q：沉浸式三維聲是怎么實(shí)現(xiàn)的呢？

@興哥：

沉浸式三維聲的實(shí)現(xiàn)在技術(shù)上可以依托三種形式：基于聲道、基于對(duì)象、基于場(chǎng)景。

其中，基于對(duì)象的技術(shù)將聲源看作對(duì)象，對(duì)音頻數(shù)據(jù)和關(guān)于聲源的元數(shù)據(jù)進(jìn)行實(shí)時(shí)渲染，能夠?qū)崿F(xiàn)極為精確、流暢的聲音移動(dòng)。

該技術(shù)擺脫了重放揚(yáng)聲器數(shù)量和布局限制，可以適應(yīng)更多的回放環(huán)境，是沉浸感與空間感體驗(yàn)的最佳方式。

但如果將混音中的每個(gè)聲源都視為一個(gè)單獨(dú)的對(duì)象，則通道數(shù)和文件大小會(huì)驚人地增加，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)解碼渲染就需要消耗大量算力和帶寬資源。

因此在實(shí)際應(yīng)用中往往采取混合格式，將基于對(duì)象的元素與基于聲道或場(chǎng)景的元素結(jié)合在一起，促進(jìn)三維聲在直播等在線視頻領(lǐng)域的廣泛應(yīng)用。

03

Q：我們的三維聲解決方案具備哪些優(yōu)勢(shì)？

@興哥：

一是打通三維聲制播技術(shù)的端到端全鏈路

我們的沉浸式三維聲解決方案打通了從音頻信號(hào)采集、制作、編碼到終端呈現(xiàn)的制作全鏈路，保證端到端清晰傳遞效果。

方案采用【基于聲道（5.1.4）+基于對(duì)象（6個(gè)聲音對(duì)象）】的三維聲技術(shù)方式，在提升計(jì)算資源利用率的同時(shí)，構(gòu)建沉浸式和交互式的三維立體聲場(chǎng)。

創(chuàng)作者能夠?qū)γ總€(gè)聲音元素進(jìn)行精準(zhǔn)放置和靈活移動(dòng)，釋放創(chuàng)意表達(dá)自由。手機(jī)移動(dòng)端、戶外大屏等各終端用戶，除了能夠聽到真實(shí)沉浸的三維聲聽感，還能夠享受到個(gè)性化聲音效果的互動(dòng)體驗(yàn)。

二是具備完備的產(chǎn)品體系和優(yōu)秀實(shí)踐案例

長(zhǎng)期以來(lái)，當(dāng)虹科技在超高清視音頻制播領(lǐng)域積累了深厚的技術(shù)優(yōu)勢(shì)和項(xiàng)目經(jīng)驗(yàn)，并為創(chuàng)造更沉浸的視聽體驗(yàn)持續(xù)努力。

我們?cè)诜e極參與《三維菁彩聲技術(shù)白皮書》等標(biāo)準(zhǔn)編制的同時(shí)，加快產(chǎn)品落地，以應(yīng)用示范推動(dòng)三維聲普及，繁榮三維聲生態(tài)。

目前已經(jīng)支持總臺(tái)、咪咕等合作伙伴，在百城千屏、春晚、世界杯等大型體育賽事和綜藝文化活動(dòng)中打造了多個(gè)優(yōu)秀實(shí)踐案例。

04

Q:關(guān)于用戶體驗(yàn)，可以舉幾個(gè)例子嗎？

@興哥：

我個(gè)人是個(gè)足球迷，那就先從世界杯說(shuō)起，再聊聊大眾喜聞樂(lè)見的春晚。

一是互動(dòng)性。三維菁彩聲在2022卡塔爾世界杯上的亮相為觀眾帶來(lái)了一些驚喜。不管是觀眾的吶喊聲、齊唱國(guó)歌聲，還是裁判的哨聲，賽事解說(shuō)聲，從“場(chǎng)”到“點(diǎn)”的聲音元素都可以作為獨(dú)立的聲源對(duì)象。                          

總之，三維聲的應(yīng)用，不僅能讓觀眾置身于其中感受到聲音的無(wú)處不在，還能捕捉到聲音對(duì)象在各個(gè)方位自由移動(dòng)的足跡，獲得一種“聽聲辨位”的真實(shí)感。

未來(lái)，我們會(huì)繼續(xù)拓展三維聲在車載影音、家庭影院、虛擬現(xiàn)實(shí)、互動(dòng)游戲等多樣化的場(chǎng)景中應(yīng)用。