首先要講的是虛擬制作，它是將計(jì)算機(jī)中虛擬場景與攝像機(jī)實(shí)景視頻進(jìn)行實(shí)時(shí)合成，使人物與虛擬場景能夠同步變化，從而輸出高真實(shí)感合成畫面的視頻制作方式，XR虛擬制作必須以LED大屏為背景且有屏外擴(kuò)展畫面。2021年春晚節(jié)目《牛起來》便是虛擬制作的典型案例。

本次直播，將攝像機(jī)跟蹤、數(shù)字人、動作捕捉、LED大屏、UE5實(shí)時(shí)渲染等前沿技術(shù)或工具，有機(jī)結(jié)合到了一起。其中凌云光自主研發(fā)的FZMotion光學(xué)運(yùn)動捕捉系統(tǒng)部署在場地中，保障了現(xiàn)場“中之人”的動作捕捉與真實(shí)攝像機(jī)的跟蹤，是連接虛擬與現(xiàn)實(shí)世界的橋梁。

為了讓真實(shí)攝像機(jī)在運(yùn)動的時(shí)候，LED大屏上的畫面以及屏外拓展畫面能夠發(fā)生相應(yīng)的準(zhǔn)確變化，FZMotion快速精準(zhǔn)的跟蹤真實(shí)攝像機(jī)6自由度（6DoF, 6 degree of freedom）變化，結(jié)合鏡頭信息，傳輸至UE5虛擬攝像機(jī)實(shí)時(shí)渲染引擎。不同于機(jī)械跟蹤或機(jī)身上安裝相機(jī)（InSide-Out）的跟蹤方式，當(dāng)舞臺周圍多臺真實(shí)攝像機(jī)同時(shí)需要被跟蹤時(shí)，一套FZMotion系統(tǒng)便能搞定，無需根據(jù)被跟蹤攝像機(jī)數(shù)量來增加跟蹤系統(tǒng)數(shù)量。

為了讓沐嵐動起來，FZMotion實(shí)時(shí)捕捉 “中之人”的動作，并融合面部捕捉與手指捕捉設(shè)備，將“中之人”的表情、手指動作、身體動作傳遞給沐嵐并對其進(jìn)行驅(qū)動。

一套動捕，多種跟蹤

觀眾看到的包含沐嵐的圖像，其實(shí)由多個(gè)畫面組合而成。一是真實(shí)攝像機(jī)拍攝到的，包含LED屏上的表演者、基于真實(shí)攝像機(jī)視角渲染而成的LED屏上畫面。二是數(shù)字人沐嵐，她被以AR前景的方式疊加到了畫面一上。當(dāng)攝像機(jī)拍攝到LED屏外的時(shí)候，還需要渲染屏外拓展畫面，同畫面一和二拼接。多個(gè)畫面虛實(shí)融合，呈現(xiàn)給觀眾。而這一切，都離不開FZMotion的攝像機(jī)跟蹤與真人動作捕捉。

【彩蛋】

沐嵐與FZMotion同框解密直播黑科技，下期再會~