女同另类啪啪视频,男人天堂av在线亚洲,免费入口网站黄色,毛片大全在线观看,黄色视频在线观看免费h片,直接看的欧美特一级黄碟,四虎精品久久久

一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法及系統(tǒng)與流程

文檔序號:42300610發(fā)布日期:2025-06-27 18:42閱讀:15來源:國知局

本發(fā)明涉及大數(shù)據(jù)分析與智能信息處理領(lǐng)域,具體涉及一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法及系統(tǒng)。


背景技術(shù):

1、復雜場景下的數(shù)據(jù)分類是眾多應(yīng)用領(lǐng)域的核心挑戰(zhàn)之一。例如,在商業(yè)、工業(yè)和醫(yī)學研究中,海量數(shù)據(jù)的復雜性和應(yīng)用場景的多樣性通常使得傳統(tǒng)的單模態(tài)和單層級分類方法難以適用。不同的數(shù)據(jù)模態(tài)往往包含獨立的特征信息,這些信息在單獨分析時,無法充分展現(xiàn)出其在特定問題中的全部潛力。傳統(tǒng)的多模態(tài)分類模型通常忽略類別之間的層級關(guān)系,僅將所有類別視為平等且離散的個體,難以有效利用模態(tài)間的互補性和層級結(jié)構(gòu)的信息。而不同模態(tài)對各層級分類的貢獻也各不相同,有些模態(tài)能夠為特定層級的分類提供關(guān)鍵性信息。因此,結(jié)合多模態(tài)數(shù)據(jù)融合與多層級分類技術(shù)的研究已經(jīng)逐漸引起關(guān)注。通過對多模態(tài)特征進行聯(lián)合建模和融合,可以在分類任務(wù)中充分挖掘模態(tài)間的關(guān)聯(lián)信息,而多層級分類技術(shù)能夠逐步優(yōu)化分類結(jié)果,從粗粒度到細粒度逐步提升分類精度。這種多模態(tài)融合與多層級分類的結(jié)合,為解決復雜場景中的數(shù)據(jù)分類問題提供了全新思路,例如在電商領(lǐng)域中實現(xiàn)商品的精細分類,在醫(yī)學領(lǐng)域中完成疾病的精確分型,或在交通監(jiān)控中優(yōu)化異常行為檢測。

2、現(xiàn)有技術(shù)方案如[申請公布號:cn112685565a,發(fā)明名稱:基于多模態(tài)信息融合的文本分類方法、及其相關(guān)設(shè)備]提出了基于圖像和文本模態(tài)融合特征的文本分類方案,但其特征模態(tài)提取單一,僅有圖像和文本兩種模態(tài),且文本分類模塊簡單,未能針對數(shù)據(jù)層級結(jié)構(gòu)進行分類優(yōu)化,只能處理單一層級的簡單分類場景。同時,另有技術(shù)方案[申請公布號:cn117056863a,發(fā)明名稱:一種基于多模態(tài)數(shù)據(jù)融合的大數(shù)據(jù)處理方法]只提出了多模態(tài)數(shù)據(jù)的融合模型,雖然采用了多模態(tài)數(shù)據(jù),但未能基于多模態(tài)數(shù)據(jù)提出復雜層級分類場景下的技術(shù)方案。

3、現(xiàn)有多模態(tài)數(shù)據(jù)分類方法大多針對特定的單一分類任務(wù)設(shè)計,模型通常對數(shù)據(jù)進行一次性分類,將結(jié)果劃分為粗粒度的類別,而未能將多模態(tài)數(shù)據(jù)與層級結(jié)構(gòu)結(jié)合起來,導致分類系統(tǒng)難以有效適應(yīng)層級化需求,模型的擴展性和適用性較差,無法通用到復雜分類任務(wù)中。例如,現(xiàn)有技術(shù)可能在單層級場景下表現(xiàn)良好,但在要求逐級分類的實際場景(如從食品分類到具體品牌和成分分類)中表現(xiàn)明顯不足。


技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于針對多模態(tài)數(shù)據(jù)單一分類的不足,提出一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法及系統(tǒng),旨在通過分層分類模型更全面地處理多模態(tài)數(shù)據(jù)場景中的復雜分類任務(wù)。

2、本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的:一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法,包括如下步驟:

3、獲取待分類的圖像、文本和表格數(shù)據(jù),對所述圖像、文本和表格數(shù)據(jù)進行預處理,得到預處理后的圖像數(shù)據(jù)、文本數(shù)據(jù)以及表格特征;

4、將預處理后的圖像數(shù)據(jù)輸入至預訓練的深度殘差網(wǎng)絡(luò)模型,進行特征提取和結(jié)構(gòu)化向量表示,得到向量化的圖像特征;將預處理后的文本數(shù)據(jù)輸入至預訓練的語言模型,進行特征提取和結(jié)構(gòu)化向量表示,得到向量化的文本特征;

5、基于自注意力機制,將圖像特征、文本特征和表格特征進行特征融合,得到融合特征;

6、構(gòu)建層次結(jié)構(gòu)樹,基于所述層次樹構(gòu)建多層級分類模型,將所述融合特征輸入至多層級分類模型進行層級分類訓練;

7、將多模態(tài)融合數(shù)據(jù)的測試集部分輸入至訓練完成的多層級分類模型中,進行測試評估并輸出分類結(jié)果。

8、進一步地,所述對所述圖像、文本和表格數(shù)據(jù)進行預處理包括:對圖像數(shù)據(jù)進行圖像增強、尺寸調(diào)整和歸一化,對文本數(shù)據(jù)去除停用詞、分詞和截斷填充,對表格數(shù)據(jù)處理缺失值、異常值和標準化。

9、進一步地,所述將預處理后的圖像數(shù)據(jù)輸入至預訓練的深度殘差網(wǎng)絡(luò)模型,進行特征提取和結(jié)構(gòu)化向量表示,得到向量化的圖像特征包括:

10、選用resnet50模型,將預處理后的圖像數(shù)據(jù)輸入至resnet50模型中,通過所述resnet50模型的全局平均池化層輸出一個1×2048的特征向量,所述特征向量包含所述圖像的高維特征信息,以表示圖像的視覺內(nèi)容。

11、進一步地,所述將預處理后的文本數(shù)據(jù)輸入至預訓練的語言模型,進行特征提取和結(jié)構(gòu)化向量表示,得到向量化的文本特征包括:

12、選用bert模型,將預處理后的文本數(shù)據(jù)輸入至bert模型中,通過所述bert模型獲取每個詞匯單元的token,每個token映射到一個高維空間的向量表示,使用bert模型中的池化層對所有詞嵌入進行平均匯總,得到整個文本的768維數(shù)值特征向量表示。

13、進一步地,所述基于自注意力機制,將圖像特征、文本特征和表格特征進行特征融合,得到融合特征包括:

14、將圖像特征、文本特征和表格特征進行特征拼接,得到拼接后的特征向量,基于自注意力機制為不同特征自動分配不同的權(quán)重,根據(jù)所述權(quán)重,加權(quán)得到初步融合特征,并輸入全連接層進行維度壓縮,得到最終融合特征。

15、進一步地,所述基于所述層次樹構(gòu)建多層級分類模型,將所述融合特征輸入至多層級分類模型進行層級分類訓練包括:

16、所述多層級分類模型包括為每個父節(jié)點構(gòu)建一個局部分類器,對于每個父節(jié)點設(shè)置局部基分類器為邏輯回歸;將層級標簽表示為真實標簽矩陣,第一列為父節(jié)點標簽,第二列為其對應(yīng)的子節(jié)點標簽

17、使用stratifiedshufflesplit分層抽樣器對數(shù)據(jù)集進行拆分,以確保不同類別和層次的訓練和測試樣本比例保持平衡,將訓練集輸入每個父節(jié)點對應(yīng)的邏輯回歸分類器自上而下進行訓練,使用標簽矩陣中的相應(yīng)列作為訓練目標,基于網(wǎng)格搜索對每個父節(jié)點的邏輯回歸分類器的正則化強度進行超參數(shù)優(yōu)化,得到每個父節(jié)點訓練的最優(yōu)局部分類器。

18、進一步地,所述將多模態(tài)融合數(shù)據(jù)的測試集部分輸入至訓練完成的多層級分類模型中,進行測試評估并輸出分類結(jié)果包括:

19、將拆分的測試集輸入至訓練完成的多層級分類模型中,基于每個局部最優(yōu)邏輯回歸分類器,輸出該節(jié)點預測的標簽,得到預測標簽矩陣,將節(jié)點預測標簽作為分類結(jié)果輸出;

20、采用層級分類指標層次準確率、層次召回率和層次f1分數(shù)對所述分類結(jié)果進行評估并將評估結(jié)果輸出。

21、本發(fā)明還提供了一種基于多模態(tài)數(shù)據(jù)融合的多層級分類系統(tǒng),包括:

22、多模態(tài)數(shù)據(jù)預處理模塊,用于對圖像、文本和表格數(shù)據(jù)清洗;

23、多模態(tài)特征提取和向量化模塊,用于分別對圖像和文本進行特征提取和結(jié)構(gòu)化向量表示;

24、自注意力機制多模態(tài)特征融合模塊,用于對圖像特征、文本特征和表格特征進行融合;

25、多層級分類框架構(gòu)建與訓練模塊,用于構(gòu)建多層級分類框架并進行層級分類訓練;

26、模型測試與評估模塊,用于對多層級分類結(jié)果進行測試評估并輸出顯示。

27、本發(fā)明還提供了一種電子設(shè)備,包括存儲器和處理器,所述存儲器與所述處理器耦接;其中,所述存儲器用于存儲程序數(shù)據(jù),所述處理器用于執(zhí)行所述程序數(shù)據(jù)以實現(xiàn)所述的一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法。

28、本發(fā)明還提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,所述程序被處理器執(zhí)行時實現(xiàn)所述的一種基于多模態(tài)數(shù)據(jù)融合的多層級分類方法。

29、本發(fā)明的有益效果在于:針對多模態(tài)融合數(shù)據(jù)分類目前僅有適用于單一層級的簡單分類任務(wù)的局限性,本發(fā)明通過結(jié)合多模態(tài)數(shù)據(jù)的特征融合與逐級優(yōu)化的層級分類模型,能夠在充分挖掘并融合各個模態(tài)數(shù)據(jù)信息的基礎(chǔ)上,對于多層級復雜分類場景,給出更精準更細化的分類方案,在粗粒度分類的基礎(chǔ)上逐步細化分類結(jié)果,從而滿足實際應(yīng)用中對精細分類的需求。

當前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1