1、隨著多媒體技術(shù)的發(fā)展和人們對(duì)人機(jī)交互和虛擬現(xiàn)實(shí)技術(shù)越來(lái)越高的要求，近些年來(lái)，可視語(yǔ)音合成成為多媒體領(lǐng)域一個(gè)研究的熱點(diǎn)和難點(diǎn)。先前的研究已經(jīng)證明，多通道的信息融合能夠增加人們對(duì)信息的理解。在語(yǔ)言交流的基礎(chǔ)上，如果附加有面對(duì)面的可視信息，不僅有利于人們快速、準(zhǔn)確地理解交流信息，而且令人感到愉悅。可視語(yǔ)音合成技術(shù)在電子商務(wù)，虛擬現(xiàn)實(shí)，友好人機(jī)交互系統(tǒng)以及娛樂(lè)等方面都有重要的應(yīng)用。 在這個(gè)研究背景之下，本文將研究重點(diǎn)放在研究合成具有照片

2、真實(shí)感的可視語(yǔ)音合成上。鑒于基于大樣本采樣技術(shù)在合成真實(shí)感上的優(yōu)勢(shì)，本文也將采用基于大樣本采樣的合成技術(shù)。 首先，在映射模型的建立上，為了避免音素和口型之間的多對(duì)一關(guān)系，采用以馬爾可夫鏈為基礎(chǔ)的語(yǔ)音序列建模方法(隱式馬爾可夫鏈)，將口型樣本按照五個(gè)基本口型類(lèi)進(jìn)行子空間劃分。 其次，語(yǔ)音特征的表示上，同時(shí)考慮了語(yǔ)音上下文的相關(guān)性，采用了聯(lián)合語(yǔ)音特征表示的方法。在語(yǔ)音的特征的提取上，本文建立了一個(gè)遺傳模型，從而在細(xì)粒度層次上

3、進(jìn)一步預(yù)測(cè)語(yǔ)音的可視信息。通過(guò)對(duì)多個(gè)子空間建立的多個(gè)遺傳模型，可以更好的描述大規(guī)模語(yǔ)音數(shù)據(jù)中包含的多種語(yǔ)音本質(zhì)特征，提高了映射模型的精度。 第三，在口型特征的表示上，為了去除光照對(duì)樣本的影響，本文提出一種基于FAP特征點(diǎn)的幾何參數(shù)表示模型。該模型的優(yōu)點(diǎn)是：對(duì)在不一致的光照條件下獲得的訓(xùn)練樣本有較好的魯棒性，能夠更好的表征口型本身變化，而且相比傳統(tǒng)的基于圖像全局紋理特征的方法(如PCA特征)，具有較小的向量維數(shù)，對(duì)于提高學(xué)習(xí)模型的