本發(fā)明涉及人工智能安全，尤其涉及一種基于注意力機制的人臉識別擴散去噪防御方法。

背景技術：

1、現(xiàn)在有的基于gan的對抗樣本防御方法普遍存在訓練過程不穩(wěn)定，容易出現(xiàn)模式崩潰的問題，無法滿足在實際應用中的效能和可靠性。訓練gan是一個復雜的過程，它涉及到兩個神經(jīng)網(wǎng)絡：生成器和判別器之間的動態(tài)博弈。這種博弈要求兩者在訓練過程中保持適當?shù)钠胶猓欢?，在實踐中，維持這一平衡相當困難，導致訓練過程不穩(wěn)定。不平衡的訓練可能導致生成器無法學習到數(shù)據(jù)的真實分布，從而產(chǎn)生低質(zhì)量或重復性的樣本。

2、現(xiàn)有的基于擴散模型的對抗樣本防御方法需要針對不同數(shù)據(jù)集多次調(diào)整噪聲強度以達到最佳的防御去噪效果，這一過程不僅復雜，而且極其耗時，因為理想的噪聲強度并非一成不變，而是高度依賴于具體的數(shù)據(jù)集特征、對抗攻擊的形式以及所期望的防御效果。

3、現(xiàn)有的對抗樣本去噪方法普遍采用全面覆蓋式的策略，即對整個圖像進行統(tǒng)一的去噪處理。然而，這種方法忽視了對抗攻擊的一個關鍵特征：攻擊通常集中在圖像的特定區(qū)域而非均勻分布在整個圖像上。這些重點攻擊區(qū)域往往是攻擊者精心挑選出來的，因為它們對于模型的最終分類決策具有決定性的影響。因此，當去噪過程未能針對性地識別并處理這些關鍵區(qū)域時，整體防御性能便會受到限制。

4、lpips損失(learned?perceptualimagepatch?similarity,學習感知圖像塊相似度)，是一種衡量圖像相似度的方法，lpips使用預訓練的深度網(wǎng)絡(如vgg、alexnet)來提取兩張圖像的多層特征，然后計算兩張圖像在對應層特征之間的距離，以評估圖像之間的感知相似度。

5、fid分數(shù)（frechet?lnception?distance?score）是一種用于評估生成模型性能的指標，特別是在評估圖像生成模型時應用廣泛。它衡量的是生成圖像分布與真實圖像分布之間的差異，特別是通過使用一個預訓練的神經(jīng)網(wǎng)絡（通常是?inception?v3）提取的特征來進行比較。一般來說，fid分數(shù)越低，表示生成的圖像與真實圖像的分布越接近，模型的生成性能越好。

技術實現(xiàn)思路

1、本發(fā)明的目的就在于提供一種解決上述模型訓練不穩(wěn)定、防御時間較長以及防御后干凈樣本識別率下降等問題的，一種基于注意力機制的人臉識別擴散去噪防御方法。

2、為了實現(xiàn)上述目的，本發(fā)明采用的技術方案是這樣的：一種基于注意力機制的人臉識別擴散去噪防御方法，包括以下步驟；

3、s1，獲取數(shù)據(jù)集x，包括干凈樣本集xclean和對抗樣本集xadv，xclean中干凈樣本xclean和xadv中對抗樣本x0一一對應；

4、s2，構(gòu)造人臉識別擴散去噪網(wǎng)絡，包括預訓練的人臉識別模型、條件去噪擴散模型、注意力模型；

5、所述人臉識別模型包括特征提取網(wǎng)絡，用于對輸入圖像進行特征提取得到深度特征；

6、所述條件去噪擴散模型，包括前向加噪過程與逆向生成過程；

7、所述前向加噪過程用于向?qū)箻颖緓0中逐時間步添加噪聲，生成每個時間步對應的加噪圖像，其中時間步t的加噪圖像為xt，1≤t≤t，t為最佳擴散步長；

8、所述逆向生成過程基于條件引導，從xt中逐時間步去除噪聲，時間步t生成去噪圖像，最終得到的去噪圖像作為去噪樣本，所述根據(jù)下式得到；

9、，

10、式中，、、分別為時間步t的均值函數(shù)、方差函數(shù)、標準差函數(shù)；為特征提取網(wǎng)絡提取的深度特征，λ為超參數(shù)，為范數(shù)，?為隨機噪聲，為標準正態(tài)分布；

11、所述注意力模型用于從去噪樣本和干凈樣本xclean中提取對應的注意力圖、；

12、s3，構(gòu)造人臉識別擴散去噪網(wǎng)絡的總損失ltotal；

13、，

14、，

15、式中，lattention為注意力損失；l1為對抗樣本和去噪樣本間的l1損失、llpips為對抗樣本和去噪樣本間的lpips損失，為計算均方誤差，λ1、λ2分別為第一權(quán)重超參數(shù)、第二權(quán)重超參數(shù)；

16、s4，根據(jù)最佳擴散步長t、用數(shù)據(jù)集x以最小化ltotal訓練人臉識別擴散去噪網(wǎng)絡至收斂，得到人臉識別擴散去噪模型；

17、s5，獲取待凈化的對抗樣本，基于人臉識別擴散去噪模型生成對應的去噪樣本。

18、作為優(yōu)選，所述注意力模型采用梯度積分法提取注意力圖，具體包括步驟sa1~sa3；

19、sa1，選擇一深度網(wǎng)絡f、一全黑圖像作為基準輸入xbaseline，將去噪樣本或干凈樣本作為實際輸入x；

20、sa2，x中第i個像素點的歸因值igi(x)根據(jù)下式得到；

21、，

22、為插值參數(shù)、為xbaseline中第i個像素點的rgb值、xi為x中第i個像素點的rgb值，為深度網(wǎng)絡；

23、sa3，用第i個像素點的歸因值，替換實際輸入x中第i個像素的rgb值，得到x的注意力圖。

24、作為優(yōu)選，所述l1、llpips分別根據(jù)下式計算；

25、，

26、式中，n為對抗樣本x0中像素點總數(shù)，為對抗樣本中第n個像素點，為去噪樣本中第n個像素點；

27、，

28、式中，llpips由多層特征提取網(wǎng)絡提取x0和的特征圖后計算得到，hl、wl分別為第l層特征提取網(wǎng)絡提取的特征圖的總高度和總寬度，wl為第l層特征提取網(wǎng)絡的權(quán)重，為x0經(jīng)第l層特征提取網(wǎng)絡的特征圖在高度h、寬度w的特征值，為經(jīng)第l層特征提取網(wǎng)絡的特征圖在高度h、寬度w的特征值，1≤h≤h，1≤w≤w，為逐元素相乘操作，為l2范數(shù)。

29、作為優(yōu)選，s4中，訓練人臉識別擴散去噪網(wǎng)絡具體為；

30、預設迭代輪次和批次大小，將數(shù)據(jù)集x按批次大小輸入人臉識別擴散去噪網(wǎng)絡中，每批次計算一總損失ltotal，并反向傳播調(diào)整條件去噪擴散模型的網(wǎng)絡參數(shù)，直至得到迭代輪次。

31、作為優(yōu)選，所述最佳擴散步長t通過步驟sb1~sb4自適應生成；

32、sb1，從干凈樣本集xclean和對抗樣本集xadv，分別抽樣出相同大小的子集和；

33、sb2，設定d個不同的步長t1~td，其中第d個步長為td，1≤d≤d；

34、sb3，令擴散步長為td，對中對抗樣本，由條件去噪擴散模型生成去噪樣本，構(gòu)成去噪數(shù)據(jù)集，并計算和的fid分數(shù)；

35、sb4，t1~td對應d個fid分數(shù)，將fid分數(shù)最小的步長作為最佳擴散步長t。

36、與現(xiàn)有技術相比，本發(fā)明的優(yōu)點在于：

37、（1）本發(fā)明條件去噪擴散模型進行對抗樣本的去噪處理，在條件去噪擴散模型訓練過程中引入了圖像距離約束、圖像距離約束基于條件去噪擴散模型中的和，可以保證去噪過程中二者在特征空間上的距離較小，從而保留圖像中的語義信息。通過引入圖像距離約束，條件去噪擴散模型在訓練過程中不僅學習如何還原圖像，還能控制重建誤差的大小，有助于提高去噪結(jié)果的質(zhì)量與穩(wěn)定性。

38、（2）本發(fā)明將注意力機制與條件去噪擴散模型進行結(jié)合，通過注意力模型去噪樣本和對抗樣本的關注區(qū)域（即注意力圖），來指導條件去噪擴散模型生成更接近于干凈樣本的去噪結(jié)果。該方法利用注意力圖之間的差異作為監(jiān)督信號，促使條件去噪擴散模型學習如何有效地去除圖像中的噪聲同時保留關鍵的身份特征信息，同時減少對干凈區(qū)域的破壞。能有效提高防御的準確率，減小對干凈樣本的影響。

39、（3）還引入了圖像質(zhì)量約束，通過l1、llpips計算對抗樣本和去噪樣本的l1損失和lpips損失，對去噪樣本進行約束，保證去噪圖像的視覺質(zhì)量，其中l(wèi)1損失用于對抗樣本和去噪樣本在像素維度上的相似度，確保兩者之間的像素級差異不會過大，從而維持去噪圖像的視覺一致性，lpips損失用于衡量對抗樣本和去噪樣本在感知層面的相似性，通過捕捉高層語義特征的差異，進一步保留原始圖像的關鍵結(jié)構(gòu)和細節(jié)信息。

40、（4）使用自適應擴散步長選擇機制來縮短獲取最佳去噪結(jié)果的時間，該機制能夠根據(jù)數(shù)據(jù)集特征與對抗攻擊的形式計算最佳的擴散步長，從而在保證去噪效果的同時大幅減少時間開銷。

41、（5）本發(fā)明對多種不同的對抗攻擊均表現(xiàn)出顯著的防御效果，并展現(xiàn)了出色的泛化能力，如fgsm、pgd、ata等對抗攻擊方法。并以即插即用的方式將其防御效能轉(zhuǎn)移到其他人臉識別模型，包括facenet、ir152、irse50等人臉識別模型。