1、隨著互聯(lián)網2.0技術的快速發(fā)展,一系列圍繞著多媒體內容的研究不停地涌現(xiàn)出來。身處于這樣一個多媒體的時代,人們也在日常生活中不停創(chuàng)造并分享傳播著圖像和視頻這些常見的多媒體素材。而在這一過程中,用戶并不局限于僅僅分享傳播圖像視頻這些單一視覺信息,很多時候還會加上他們對圖像視頻內容在語義層面的理解,比如標簽或者描述這些文本信息。這樣就為多媒體領域衍生出了很多跨模態(tài)間的應用。具體而言,這其中不僅包含有從文本出發(fā)查詢相關圖像的多媒體檢索技術,也包

2、含有從視頻素材直接到文本的視頻描述生成,更有一些大膽的跨模態(tài)應用比如從文本出發(fā),自動生成相關的視頻內容。這些跨模態(tài)應用的本質都是在視覺信息和文本信息這兩個不同模態(tài)間的互相轉換。目前的技術手段大部分都依賴于多模態(tài)學習與深度學習的現(xiàn)有框架來簡單實現(xiàn)不同模態(tài)間的轉換,卻忽視了不同模態(tài)間本質存在的高層語義聯(lián)系。而在模態(tài)轉換的過程中強調這一高層語義信息對深度理解視覺內容以及最終提高模態(tài)間轉換質量而言都是至關重要的。
　　針對這一問題,本論文

3、從視覺信息和文本信息間本質存在的高層語義信息出發(fā),研究如何利用高層語義信息來幫助并提升多媒體檢索(文本到圖像)、視頻描述生成(視頻到文本)、視頻內容生成(文本到視頻)這些跨模態(tài)的應用。本論文包含以下幾個創(chuàng)新點:
　　(1)論文提出一種基于高層語義的多媒體檢索算法,可利用搜索引擎中用戶點擊數(shù)據(jù)挖掘出查詢關鍵詞和圖像的高層語義關系,并以此構建出一個語義子空間來直接度量這兩種不同模態(tài)間的語義相關性,實現(xiàn)查詢關鍵詞到圖像轉換的多媒體檢索。

4、在該方法中語義子空間的構建主要遵循兩個原則,即最小化查詢關鍵詞與對應的點擊過的圖像在語義子空間中的距離,并同時保留每個模態(tài)在自己原本空間的固有關系結構來。通過在一個大規(guī)模的用戶點擊圖像檢索數(shù)據(jù)集上的實驗,本文證明了該算法相比于傳統(tǒng)支持向量機的排序模型在語義相關性的評測標準上提高了4.0％。
　　(2)論文提出一種基于隱式高層語義的視頻描述生成算法,自動生成語法連貫而且語義和視頻內容一致的描述語句。該方法在利用長短時記憶神經網絡對詞

5、和詞之間的語法連貫性建模的同時,還設計了一個全新的視覺語義嵌入式模塊來約束整個語句和視頻內容的隱式語義相關性。這其中長短時記憶神經網絡與視覺語義嵌入式模塊是共同訓練與優(yōu)化的。本文在三個視頻描述生成數(shù)據(jù)集上進行了大量實驗并證明了所提出方法的有效性,其中所提出方法在YouTube2Text數(shù)據(jù)集上相比于基于長短時記憶神經網絡的方法在METEOR指標上提高了4.7％。
　　(3)除了利用視頻和描述語句間隱含的語義相關性,論文還提出一種基

6、于顯式高層語義的視頻描述生成算法,進一步提高從視頻內容到描述語句的轉換質量。該方法首先挖掘出視頻中包含的顯式高層語義信息(也就是語義屬性),然后將這一高層語義信息動態(tài)地融入到基于循環(huán)神經網絡的傳統(tǒng)視頻描述生成模型中,從而大大提高了生成的視頻描述語句與視頻內容的語義相關性。同樣地,本論文在三個視頻描述生成數(shù)據(jù)集上驗證了基于顯式高層語義的視頻描述生成模型的有效性。其中在MSVD數(shù)據(jù)集上,該方法取得了迄今為止公開的最高性能:52.8％的BLE