互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合.pdf

1、面對互聯(lián)網(wǎng)圖像搜索的海量、多模態(tài)的信息特征，現(xiàn)有圖像搜圖像、文本搜圖像、圖文結合搜圖像的系統(tǒng)都有不盡如人意之處。為了搜到盡可能多、全面的圖像，很有必要研究互聯(lián)網(wǎng)圖像搜索中的多模態(tài)融合。互聯(lián)網(wǎng)圖像搜索本質上是一種多模態(tài)學習問題。在以往對它們的研究中，涌現(xiàn)出許多算法和思想流派:矢量量化或共生模型、機器翻譯模型、相關模型、加入類別信息的結構模型、多標注學習、互補的多模態(tài)融合、基于矩陣分解的多模態(tài)融合、基于調和場模型的多模態(tài)融合、基于對齊學習的

2、多模態(tài)融合、多模態(tài)聯(lián)合學習、一致性的多模態(tài)學習、大數(shù)據(jù)驅動的多模態(tài)學習?？偨Y其優(yōu)缺點，我們提出了要構建的多模態(tài)學習模型的設計需求。一種用文檔-詞條關系矩陣傳播、疊加兩者的相關度矩陣以學習文檔語義相似度的模型被用在了多模態(tài)相似度矩陣的互相增強上。
　　本文分析了其用在多模態(tài)學習上的不同之處，提出了加入模態(tài)內高階相似度增強的多模態(tài)融合模型;分析了現(xiàn)有既考慮多數(shù)據(jù)域互相增強又考慮數(shù)據(jù)域間相關關系增強的多數(shù)據(jù)域相似度融合算法，結合多模態(tài)相

3、似度融合的加性特點，提出了用模態(tài)間對齊去增強模態(tài)間相關關系;為了得到多模態(tài)之間匹配的相關關系，提出一種以模態(tài)間對齊為優(yōu)化目標的統(tǒng)計模型，并把它和典型相關分析做了類比分析。大量實驗用于探究它們在多模態(tài)圖像搜索應用中的表現(xiàn)和有效性。核矩陣可以描述流形，可以把多個模態(tài)的數(shù)據(jù)投影到相似度空間相互比較。核矩陣代表的馬爾可夫場的傳播、對齊、流形特征都可以用引入電勢概念的電路網(wǎng)絡描述。單模態(tài)搜索可以表示為有源電路網(wǎng)絡，等價于譜聚類。電路網(wǎng)絡模型有其希

4、爾伯特空間解釋。網(wǎng)頁排名、流形排序算法都可以表示為電路網(wǎng)絡模型，由此可以反推出有源電路網(wǎng)絡的快速迭代算法。建立了基于電路網(wǎng)絡的多圖融合模型。該模型可以用正則化優(yōu)化式來表達并進一步擴展。實驗驗證了用電路網(wǎng)絡做多模態(tài)融合的有效性和優(yōu)勢。用泊松方程理論上解釋了電路網(wǎng)絡模型，用非齊次熱傳導方程解釋了電路網(wǎng)絡模型的快速迭代算法、模態(tài)內高階相似度增強的合理性;在擴散的多尺度分析基礎上，分析了流形上的多尺度空間;借鑒傳統(tǒng)信號處理中克服信號截短的缺點的