本申請(qǐng)涉及計(jì)算機(jī)視覺，尤其涉及一種3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法。
背景技術(shù)：
1、目前，在現(xiàn)代ai視覺傳感技術(shù)中，基于可見光機(jī)芯的3d場景識(shí)別面臨諸多挑戰(zhàn)。傳統(tǒng)的場景識(shí)別方法主要依賴于封閉集識(shí)別模式，僅能識(shí)別預(yù)先訓(xùn)練的有限類別對(duì)象，而現(xiàn)實(shí)世界的場景往往包含大量未見過的對(duì)象和復(fù)雜環(huán)境。這種局限性嚴(yán)重制約了ai視覺系統(tǒng)在實(shí)際應(yīng)用中的性能和適應(yīng)性。當(dāng)前的3d場景識(shí)別技術(shù)普遍存在以下問題：首先，多模態(tài)特征融合不充分，無法有效整合多視角、點(diǎn)云和體素等不同表征；其次，特征編碼過程缺乏語義一致性，難以捕捉跨模態(tài)的深層語義關(guān)聯(lián)；再者，現(xiàn)有方法對(duì)未知類別對(duì)象的處理能力極其有限，遇到陌生場景時(shí)常常出現(xiàn)識(shí)別失效或錯(cuò)誤分類的情況。。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┝艘环N3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，用于提高場景識(shí)別的準(zhǔn)確性。
2、第一方面，本申請(qǐng)實(shí)施例提供一種3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，該方法包括：
3、對(duì)3d對(duì)象的多模態(tài)特征進(jìn)行特征提取，得到包含多視圖特征矩陣、點(diǎn)云特征矩陣和體素特征矩陣的基本特征集合；
4、對(duì)所述基本特征集合進(jìn)行自動(dòng)編碼壓縮，得到潛在空間特征編碼；
5、對(duì)所述潛在空間特征編碼進(jìn)行同源損失和雙重重構(gòu)損失計(jì)算，得到優(yōu)化后的3d對(duì)象嵌入表示；
6、根據(jù)所述優(yōu)化后的3d對(duì)象嵌入表示對(duì)多個(gè)模態(tài)特征進(jìn)行聚合，得到統(tǒng)一的3d對(duì)象嵌入矩陣；
7、對(duì)所述統(tǒng)一的3d對(duì)象嵌入矩陣進(jìn)行超圖構(gòu)建和超圖卷積，得到結(jié)構(gòu)感知嵌入表示；
8、對(duì)所述結(jié)構(gòu)感知嵌入表示進(jìn)行內(nèi)存庫對(duì)齊，得到對(duì)齊嵌入表示，根據(jù)所述對(duì)齊嵌入表示進(jìn)行場景分類識(shí)別。
9、第二方面，本申請(qǐng)實(shí)施例提供一種3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別裝置，該裝置包括：
10、特征提取模塊，用于對(duì)3d對(duì)象的多模態(tài)特征進(jìn)行特征提取，得到包含多視圖特征矩陣、點(diǎn)云特征矩陣和體素特征矩陣的基本特征集合；
11、編碼壓縮模塊，用于對(duì)所述基本特征集合進(jìn)行自動(dòng)編碼壓縮，得到潛在空間特征編碼；
12、損失計(jì)算模塊，用于對(duì)所述潛在空間特征編碼進(jìn)行同源損失和雙重重構(gòu)損失計(jì)算，得到優(yōu)化后的3d對(duì)象嵌入表示；
13、特征聚合模塊，用于根據(jù)所述優(yōu)化后的3d對(duì)象嵌入表示對(duì)多個(gè)模態(tài)特征進(jìn)行聚合，得到統(tǒng)一的3d對(duì)象嵌入矩陣；
14、超圖計(jì)算模塊，用于對(duì)所述統(tǒng)一的3d對(duì)象嵌入矩陣進(jìn)行超圖構(gòu)建和超圖卷積，得到結(jié)構(gòu)感知嵌入表示；
15、結(jié)果輸出模塊，用于對(duì)所述結(jié)構(gòu)感知嵌入表示進(jìn)行內(nèi)存庫對(duì)齊，得到對(duì)齊嵌入表示，根據(jù)所述對(duì)齊嵌入表示進(jìn)行場景分類識(shí)別。
16、第三方面，本申請(qǐng)實(shí)施例提供一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和器；
17、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；
18、所述器，用于執(zhí)行所述計(jì)算機(jī)程序并在執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本申請(qǐng)實(shí)施例中任一種所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法。
19、第四方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被器執(zhí)行時(shí)使所述器實(shí)現(xiàn)如本申請(qǐng)實(shí)施例中任一種所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法。
20、本申請(qǐng)實(shí)施例提供一種3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，方法包括：對(duì)3d對(duì)象的多模態(tài)特征進(jìn)行特征提取，得到包含多視圖特征矩陣、點(diǎn)云特征矩陣和體素特征矩陣的基本特征集合；對(duì)基本特征集合進(jìn)行自動(dòng)編碼壓縮，得到潛在空間特征編碼；對(duì)潛在空間特征編碼進(jìn)行同源損失和雙重重構(gòu)損失計(jì)算，得到優(yōu)化后的3d對(duì)象嵌入表示；根據(jù)優(yōu)化后的3d對(duì)象嵌入表示對(duì)多個(gè)模態(tài)特征進(jìn)行聚合，得到統(tǒng)一的3d對(duì)象嵌入矩陣；對(duì)統(tǒng)一的3d對(duì)象嵌入矩陣進(jìn)行超圖構(gòu)建和超圖卷積，得到結(jié)構(gòu)感知嵌入表示；對(duì)結(jié)構(gòu)感知嵌入表示進(jìn)行內(nèi)存庫對(duì)齊，得到對(duì)齊嵌入表示，根據(jù)對(duì)齊嵌入表示進(jìn)行場景分類識(shí)別。通過上述方法，結(jié)合多視圖、點(diǎn)云和體素特征，采用自動(dòng)編碼壓縮和雙重重構(gòu)損失，有效提取和優(yōu)化特征表示，通過超圖卷積和內(nèi)存庫對(duì)齊，能夠深入挖掘?qū)ο箝g的復(fù)雜結(jié)構(gòu)關(guān)系，并實(shí)現(xiàn)語義顯著性錨點(diǎn)的精準(zhǔn)篩選，同時(shí)，通過動(dòng)態(tài)邊界自適應(yīng)和多階段置信度評(píng)估，具備開放集場景識(shí)別能力，可以處理未見類別，增強(qiáng)了模型的泛化能力，提高了場景的識(shí)別精度。
1.一種3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述對(duì)所述基本特征集合進(jìn)行自動(dòng)編碼壓縮，得到潛在空間特征編碼，包括：
3.如權(quán)利要求1所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述對(duì)所述潛在空間特征編碼進(jìn)行同源損失和雙重重構(gòu)損失計(jì)算，得到優(yōu)化后的3d對(duì)象嵌入表示，包括：
4.如權(quán)利要求1所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述根據(jù)所述優(yōu)化后的3d對(duì)象嵌入表示對(duì)多個(gè)模態(tài)特征進(jìn)行聚合，得到統(tǒng)一的3d對(duì)象嵌入矩陣，包括：
5.如權(quán)利要求4所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述對(duì)所述統(tǒng)一的3d對(duì)象嵌入矩陣進(jìn)行超圖構(gòu)建和超圖卷積，得到結(jié)構(gòu)感知嵌入表示，包括：
6.如權(quán)利要求5所述的3d和ai視覺傳感可見光機(jī)芯的場景識(shí)別方法，其特征在于，所述對(duì)所述結(jié)構(gòu)感知嵌入表示進(jìn)行內(nèi)存庫對(duì)齊，得到對(duì)齊嵌入表示，根據(jù)所述對(duì)齊嵌入表示進(jìn)行場景分類識(shí)別，包括：