1、多視目標(biāo)重構(gòu)是計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)與難點(diǎn)，在3D 視頻、虛擬現(xiàn)實(shí)、數(shù)字城市、文物保護(hù)等領(lǐng)域具有廣泛的應(yīng)用前景。按照重構(gòu)所需要的特征，多視目標(biāo)重構(gòu)算法主要分為可見(jiàn)外殼構(gòu)造和多目立體重構(gòu)。前者可以快速獲得目標(biāo)的粗糙3D 形狀，但不能恢復(fù)目標(biāo)表面凹陷區(qū)域的形狀，當(dāng)前存在的問(wèn)題是構(gòu)造算法需要預(yù)知目標(biāo)包圍盒的大小；后者可以得到目標(biāo)的精確3D 形狀，解決了可見(jiàn)外殼不能恢復(fù)凹陷區(qū)域形狀的問(wèn)題，但重構(gòu)結(jié)果的完整度仍有待于進(jìn)一步提高。當(dāng)前多視目標(biāo)重構(gòu)方法

2、都是針對(duì)3D 形狀的獲取，很少考慮目標(biāo)表面顏色的恢復(fù)問(wèn)題。MPEG4開(kāi)創(chuàng)了基于對(duì)象的壓縮編碼技術(shù)，用輪廓、紋理等表示視頻內(nèi)容。
　　 雖然MPEG4 也支持用3D 模型表示編碼對(duì)象，但局限于特定目標(biāo)的視頻，需要事先為目標(biāo)建立復(fù)雜的3D 模型。實(shí)際上某些特定場(chǎng)景的視頻對(duì)象可以用多視目標(biāo)重構(gòu)方法獲得的3D 模型進(jìn)行表示和壓縮編碼。
　　 針對(duì)上述問(wèn)題，本文主要探討多視目標(biāo)重構(gòu)中的兩個(gè)關(guān)鍵技術(shù)，即3D 形狀重構(gòu)和表面顏色恢復(fù)；

3、在此基礎(chǔ)上探索多視目標(biāo)重構(gòu)技術(shù)在視頻編碼中的應(yīng)用，設(shè)計(jì)了基于3D 參數(shù)的視頻對(duì)象編解碼方案。文章的主要工作和創(chuàng)新如下：
　　 1）為探索新的低碼率視頻編碼方法，提出基于3D 參數(shù)的視頻對(duì)象編碼方案。利用多視目標(biāo)重構(gòu)得到的3D 形狀、攝像機(jī)參數(shù)、頂點(diǎn)顏色或紋理圖像表示目標(biāo)，經(jīng)過(guò)壓縮后進(jìn)行傳輸。解碼端從壓縮碼流中恢復(fù)3D 模型、攝像機(jī)參數(shù)、頂點(diǎn)顏色或紋理圖像后，根據(jù)攝像機(jī)參數(shù)將經(jīng)過(guò)頂點(diǎn)著色或紋理映射的3D 模型重新投影到原始拍攝視點(diǎn)

4、下從而恢復(fù)原始視頻對(duì)象。實(shí)驗(yàn)結(jié)果表明，在相同的低碼率下，這種編碼方法的PSNR 比H.264 提高了2dB；同時(shí)可以實(shí)現(xiàn)比H.264 更低的碼率。
　　 2）提出融合通用處理器和圖形處理器的參數(shù)解碼器的硬件架構(gòu)設(shè)計(jì)，用于3D 參數(shù)視頻編碼器輸出碼流的解碼。通用處理器負(fù)責(zé)參數(shù)的解碼，圖形處理器將解壓后的3D 模型重新投影到原始拍攝視點(diǎn)下以還原原始視頻對(duì)象。由于采用了通用處理器，因此可支持任意的參數(shù)編碼方案。FPGA驗(yàn)證結(jié)果表明，設(shè)

5、計(jì)的電路可以實(shí)現(xiàn)參數(shù)的正確解碼和顯示。
　　 3）針對(duì)3D 形狀重構(gòu)，提出無(wú)需包圍盒的可見(jiàn)外殼構(gòu)造算法和基于圖切割的多目立體重構(gòu)算法。前者可以在不知道目標(biāo)包圍盒大小的情況下快速獲得目標(biāo)的粗糙3D 形狀；后者將可見(jiàn)外殼構(gòu)造和多目立體匹配相結(jié)合，通過(guò)圖切割算法得到目標(biāo)的精確3D 形狀。美國(guó)Middlebury 學(xué)院的3D重構(gòu)公共評(píng)測(cè)網(wǎng)站的評(píng)價(jià)結(jié)果表明，在準(zhǔn)確性比較閾值和完整性比較閾值分別為90％和2.0mm的情況下，本文算法的完整度