關於央視的3D音頻處理

透過 听!梅西在说什么? – midifan:我们关注电脑音乐

其實,大陸有很多地方一直在超越台灣,很多地方都是,有時候並不是覺得台灣不好,只是在某方面,台灣的思維真的應該要調整改變了….

央視音頻幾位小編是阿根廷的球迷,他們趁著昨夜沒有比賽,徹夜未眠,使用之前的比賽錄像調試系統,仔細地分析了CCTV5 App里過往比賽的視頻,結果。。。。

有了驚人的發現!

他們竟然聽到了梅西與隊友的交談內容!

小編們一邊反復重放梅西說的話,一邊學習西班牙語,終於在今天給翻譯出來了——

梅西說:我是利奧梅西……

你們都過來……

2018年俄羅斯世界杯作為三台合併後,中央廣播電視總台第一個大型國際賽事轉播項目,當然要第一時間為全國球迷觀眾提供最高規格、最高質量的賽事直播。在總台快速技術升級的大背景下,CCTV5手機客戶端也首次領先於其它所有播出途徑,開通了多角度切換功能,其中的「耳機聽三維聲」更是中央廣播電視總台第一次三維聲直播,恐怕也是國內迄今為止最大規模的一波三維聲直播——讓您猶如置身於觀眾席,請您過「足」癮。

央視音頻憑借著獨一無二的平台、殷實的家底兒、和一波又一波優秀人才的優勢,低調而高速地推動著三維聲技術的發展並不斷地提升著製作能力。借2018俄羅斯世界杯的契機,也是借CCTV5手機App技術升級的春風,率先為移動端用戶帶來了「耳機聽三維聲」的沈浸式體驗。

本屆世界杯全部64場比賽,我們與CCTV5完全同步,以三維聲格式轉播其中的58場,我們已成功轉播完小組賽,馬上1/8決賽就要開始了,如果你還沒聽過,趕緊來感受一下,再不聽就來不及了。

如果大家對「三維聲」還沒有形象的認識,那麼可以先回頭看一下往期

請戳—–> 三維聲來啦!

很多朋友們一看到那滿屋子的喇叭就心煩意亂了,要裝這麼多音箱多麻煩!的確,想在家實現多個揚聲器的聽音環境,確實要花費些銀兩和功夫,還要徵得家裡領導的同意。(大權在握的讀者請忽略)

而這次的世界杯三維聲轉播是僅針對CCTV5手機APP的,聽音方式也有且僅有一種:「耳機」(不要跟我說你買個耳機也要徵得家裡領導同意,因為升級後的CCTV5手機APP具備了三維聲解碼和基於HRTF技術的雙耳渲染功能,任何耳機都可以用)。所以我們驕傲且愉快的宣佈——您能且僅能簡單、便攜、隨時隨地享受三維聲!

關於耳機收聽三維聲的具體操作方法,我們在這裡推薦一位央視音頻的老朋友的嘔心之作:

請戳–>杜比全景聲版世界杯賽事收看(聽)指南

當然,如果和揚聲器環境做對比的話,耳機的效果還是差一點的,所以各位燒友現在就可以開始零存整取積攢銀兩了,為欣賞未來的大屏端三維聲直播做好物質準備。

三維聲製作系統

央視音頻一直以來都秉承著「不放過、不湊合、不嫌麻煩」的「三不」原則,一聽說「有機會直播三維聲世界杯?!」老老少少都亢奮起來了,硬是在台里的後期錄音棚里搭出了一套集音視頻固態延時補償、三維聲製作、視頻多畫面監看及切換、播出音頻編碼、播出加嵌、解碼質檢、視頻及分軌音頻記錄與回放、多重多級備份等功能於一體的複雜系統——快趕上一個小型演播室了。

除了任性的使用了央視音頻最新的Lawo mc256+mc236 主備配置的IP化音頻EFP系統、9個Genelec 8351加7370低音的SAM揚聲器系統,還不擇手段的把Protools工作站當做了延時測量工具,Avid MTRX接口更是獨當一面,僅用做系統災備的加解嵌器……

LAWO MC256+36

Lawo EFP機櫃

三維聲監聽控制器,快速對比多個監聽源

用來測量延時量的Pro Tools工作站,直接從Lawo收IP音頻流

由於系統已經超出了央視音頻日常單純聲音製作的範疇,所以也要感謝央視音頻的很多兄弟部門以及業內的老朋友們在設備和人力上的鼎力支持。

視頻固態延時器,用於校准多路外來信號延時

視頻切換矩陣,為了方便記憶、保障安全,直接在屏幕上貼標籤了

主解嵌、主渲染、主編碼、主解碼、主QC機櫃

備解嵌、備渲染、備編碼、備解碼、備QC機櫃

外來信號監看、視頻收錄、多軌音頻收錄機櫃

移動終端耳機體驗區

辛苦調試中的央視音頻人員

高大上的系統準備好了,要製作出高質量節目,還需要學習不少新知識——Immersive audio content(沈浸式音頻內容)、三維聲混錄、CCTV5 App、雙耳渲染……這些內容都是過去的常規播出所沒有的,我們慢慢展開來說。

三維聲播出製作

 

這是我們的三維聲製作場地,最近也接待了不少前來感受三維聲、探(laí)討(kàn)技(bĭ)術(sài)的同(qiú)事(mí),我們從交流中總結了一些FAQ,基本上可以概括為四個問題:

1.用啥素材做?

2.怎麼做?

3.混錄輸出的是啥?

4.如何播出給手機APP並用耳機聽到?:

Q1:使用什麼素材來製作三維聲?

A1:本次世界杯的公共信號製作方HBS(HostBroadcast Service主轉播商服務公司)給RHB(Rights Holding Broadcaster持權轉播商)提供了立體聲TVIS(TV International Sound電視國際聲軌)、立體聲RIS(Radio International Sound廣播國際聲軌)、5.1聲道MCIS(MultiChannel International Sound 多通道國際聲軌),還有可選的「Fan corner ambience」(球迷角)、「3D主話筒」、「Cablecam microphone」(鷹眼攝像機無線話筒)、「Outside ambience」(外部氛圍)等額外的獨立話筒信號,以及隨4K信號提供的16聲道「Immersive audio content」(沈浸式音頻內容)。音頻信號的傳輸方式也包含了PCM、Dolby E、AES67/RAVENNA。

Immersive audio content,就是我們用來製作三維聲的16聲道「沈浸式音頻內容」,包含一套5.1聲道Bed,以及10個作為Object(對象)的聲道。

表中的內容是靠下面這些話筒拾取出來的:

 (上期有讀者要求看看現場話筒擺位,我們把擺位圖提供給您)

場地話筒、各機位機頭話筒、滿場的環境效果話筒——其實與我們常規的環繞聲製作並沒有太大區別,但增加了一套專門為三維聲而設計的ORTF-3D話筒:

ORTF-3D可以輸出上下兩層四方聲,很適合體育賽事的5.1+4H聲道配置。

Q2:如何製作三維聲呢?

A2:使用HBS的16聲道素材(也可以說是准成品),在5.1+4H監聽環境中混合各個素材的比例,適度調整部分對象的空間定位及聲場空間感處理,最後再混合中文評論。咱們一組一組來說:

1至6聲道:5.1 Bed

聲道概念,直接一對一送入三維聲里的5.1聲道。3聲道預留靜音,在俄羅斯的央視前方陣地嵌入了中文評論後回傳北京,需要在三維聲製作域控制3聲道評論聲與現場聲的比例;


7至10聲道:4.0 height

作為對象送入渲染器,在渲染器中將各聲道聲像位置定位到頂層的四個角;

11至14聲道:Stereo Fan Corner

Stereo Fan Corner L和R是兩對立體聲信號,是分別佈置在對戰兩隊球迷聚集區域(多數為球門後方)的立體聲話筒信號,其中L是立體聲左側球迷區域,R是立體聲右側球迷區域

拾音距離比較接近觀眾席,作為對象送入渲染器,在渲染器中定位到了如下圖位置:

由於這2組立體聲信號的拾音位置與其他吊裝觀眾效果話筒相比更近一些,有時過於突出,我們可能會將其比例適當降低一些,高頻清晰度也可以適當衰減;

15聲道:English Guide Commentary

英文評論,我們這次直接扔掉了,但未來可以用作多語種對象供用戶選擇;

16聲道:Stadium PA Announcer

對象概念,是現場擴聲中的播音員線路信號,是個很「三維聲」的元素,我們定位在了頭頂正上方,並將其激勵出的延時混響等效果聲適當分配到了5.1 Bed輸出及上方聲道輸出里,再加上其他聲道中話筒直接拾取到的擴聲氛圍,營造了足量的擴聲環境包圍感。

除此之外,當然還有傳統的均衡和動態處理,依錄音師審美使用。

Q3:三維聲的混錄輸出形式是什麼樣子的?

A3:在本次直播系統中,音頻製作系統的輸出是6聲道聲床(Bed)信號和10聲道對象(Object)信號,共16個聲道,同時並行送給渲染器和編碼器,並在電腦Web頁面中進行Bed及Object的定義及三維空間聲像控制,並將這些控制信息(Metadata元數據)發送給渲染器和編碼器。

然後渲染器依據這些元數據負責製作域監聽;

編碼器負責將音頻信號和元數據進行壓縮編碼。

簡單說,混音調音台的輸出成品就是一式兩份的16聲道音頻信號,一份給渲染器用來監聽,另一份給編碼器用來傳輸。

本系統中,三維聲元數據只能使用額外的控制電腦來生成,未來會有越來越多的調音台原生支持元數據的生成及控制。

Q4:如何播出給手機APP

A4:Q3提到的調音台成品是無法直接播出的,必須引入必要的信源編碼技術將16聲道信號和元數據壓縮到足夠小的碼率後,才能送到客戶端,本次使用的是Dolby DD+編碼技術。到達手機後,使用內置的軟件解碼器將碼流解碼,並經過「雙耳渲染」(將三維聲信號按人的心理聲學及人頭傳輸特性計算虛擬到兩聲道)後,變成了最普通的兩聲道模擬信號由耳機輸出。


 本次三維聲直播是一次全新的製作體驗,信號源是新的、製作系統是新的、工作模式是新的、播出模式是新的,系統配置也在開始的幾天里也經歷了大大小小多次調改,我們自己也是一邊摸索一邊前進。熟悉系統、優化系統、主備切換、應急演練……,通過親手製作親耳聆聽,三維聲的製作目標也越來越清晰了——提供清晰、準確的主體聲源細節,營造均衡、立體的三維空間聲場,充分滿足觀眾對於沈浸式觀賽體驗的主觀期待。

由於公共信號質量優秀且穩定,所以此次三維聲直播的混錄工作並不複雜,而在工作模式與流程優化上的實驗意義可能佔據了更重要的位置。

參加本次直播的小夥伴們每天熬夜,付出了不少辛苦,但收穫也是很多的,抽空還是要多吃點兒好的補補身體。

央視音頻和我們的朋友們在CCTV5 App恭候您!

耳機聽三維聲版世界杯!一!直!到!決!賽!

文章出處s https://mp.weixin.qq.com/s/OaU7ahw3iJGHAwZMNTjo0A

Categories: production, sound
Q

Written by:Q All posts by the author

analog design digital structure 來自南台灣古都的已婚大叔,喜歡DJ、電子音樂、數位科技、電影、閱讀、旅行、羽球、Camp、吃吃喝喝、貓奴一枚...

say something...