1、基于立體視覺(jué)的場(chǎng)景語(yǔ)義標(biāo)注是環(huán)境感知領(lǐng)域中的熱門(mén)研究方向。經(jīng)過(guò)多年的發(fā)展,環(huán)境感知的部分成果已經(jīng)逐漸走上了產(chǎn)品化的道路。但針對(duì)室內(nèi)場(chǎng)景的語(yǔ)義標(biāo)注仍然存在若干問(wèn)題,場(chǎng)景單一,多數(shù)采用合成數(shù)據(jù)集等等。
　　本文的方法基于逐步壯大的 RGBD數(shù)據(jù)集,對(duì)包括辦公室場(chǎng)景及家居場(chǎng)景的樣本進(jìn)行語(yǔ)義標(biāo)注。采用了多種點(diǎn)云預(yù)處理方法,并結(jié)合二維圖像的標(biāo)注方式和點(diǎn)云分割的方法,提取點(diǎn)云樣本,作為分類(lèi)器的輸入。在學(xué)習(xí)過(guò)程中,將局部的場(chǎng)景關(guān)聯(lián)信息提取出來(lái),

2、通過(guò)具有語(yǔ)義關(guān)聯(lián)能力的條件隨機(jī)場(chǎng)模型進(jìn)行訓(xùn)練,得到局部場(chǎng)景的語(yǔ)義標(biāo)注模型。豐富的場(chǎng)景來(lái)源和結(jié)構(gòu)信息與場(chǎng)景的緊密結(jié)合,是本課題中場(chǎng)景標(biāo)注的顯著特征。
　　本文的主要工作包括以下幾方面:
　　1.構(gòu)建包含豐富場(chǎng)景的點(diǎn)云樣本數(shù)據(jù)集。針對(duì)點(diǎn)云進(jìn)行包括:點(diǎn)云網(wǎng)格化、濾波,并基于感興趣區(qū)域的標(biāo)注結(jié)合點(diǎn)云分割來(lái)構(gòu)建數(shù)據(jù)集,使得 RGBD數(shù)據(jù)集能夠統(tǒng)一劃歸為進(jìn)行局部場(chǎng)景標(biāo)注的樣本。
　　2.樣本取自于豐富的場(chǎng)景,因而對(duì)分割的魯棒性提出

3、了很高的要求。目前點(diǎn)云分割領(lǐng)域的方法,包括參數(shù)模型擬合分割、聚類(lèi)分割。本文在此基礎(chǔ)上,結(jié)合二維圖像的分割技術(shù)與基于聚類(lèi)的點(diǎn)云分割方法,運(yùn)用的局部場(chǎng)景理解中,滿(mǎn)足魯棒性分割的需要。
　　3.點(diǎn)云樣本的特征提取與選擇。由于樣本來(lái)源豐富,同一類(lèi)物體在外觀、形態(tài)等方面差異較大,本文探索了不同類(lèi)型的特征(可視化外觀以及幾何形狀特征)的差異,并通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析,得出更適合于局部場(chǎng)景語(yǔ)義標(biāo)注問(wèn)題的樣本特征。
　　4.局部場(chǎng)景語(yǔ)義標(biāo)注模