本發(fā)明涉及醫(yī)學(xué)影像分析，尤其涉及一種基于全病理切片圖像的任務(wù)無關(guān)的特征學(xué)習(xí)方法。

背景技術(shù)：

1、全切片病理圖像（whole-slide?images，wsis）是癌癥診斷和預(yù)后的金標(biāo)準(zhǔn)。近年來，隨著數(shù)字病理技術(shù)的發(fā)展，基于wsis的計算機輔助診斷系統(tǒng)逐漸成為研究熱點。多任務(wù)學(xué)習(xí)（multi-task?learning，mtl）通過共享不同任務(wù)的特征表示，能夠提升模型的泛化能力。

2、現(xiàn)有方法通常通過以下兩種方式解決未見任務(wù)的適應(yīng)問題：一是將新任務(wù)添加到現(xiàn)有網(wǎng)絡(luò)中并從頭訓(xùn)練，但這種方法忽略了已學(xué)習(xí)的共享特征，導(dǎo)致資源浪費和負(fù)遷移問題；二是構(gòu)建通用的特征提取器，但這些特征往往過于接近訓(xùn)練任務(wù)的模式，難以適應(yīng)新任務(wù)。

3、所以，現(xiàn)有的mtl方法在未見任務(wù)上的適應(yīng)性較差，難以直接應(yīng)用于新的臨床任務(wù)，尤其是當(dāng)新任務(wù)與已知任務(wù)差異較大時，性能顯著下降。

4、因此，亟需一種基于全病理切片圖像的任務(wù)無關(guān)的特征學(xué)習(xí)方法，以克服現(xiàn)有技術(shù)的缺陷。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于全病理切片圖像的任務(wù)無關(guān)的特征學(xué)習(xí)方法，解決現(xiàn)有技術(shù)中在未見任務(wù)上的適應(yīng)性較差，難以直接應(yīng)用于新的臨床任務(wù)的問題，尤其是當(dāng)新任務(wù)與已知任務(wù)差異較大時，性能顯著下降問題。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種基于全病理切片圖像的任務(wù)無關(guān)的特征學(xué)習(xí)方法，包括以下步驟：

3、步驟s1、對全切片病理圖像進行預(yù)處理，提取腫瘤及腫瘤浸潤淋巴細(xì)胞區(qū)域的多尺度特征；

4、步驟s2、構(gòu)建任務(wù)無關(guān)特征學(xué)習(xí)器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，采用gumbel-softmax重參數(shù)化技術(shù)，實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新；

5、步驟s3、通過任務(wù)級元學(xué)習(xí)算法，聯(lián)合優(yōu)化網(wǎng)絡(luò)權(quán)重與架構(gòu)參數(shù)，提取跨任務(wù)可重用特征；

6、步驟s4、通過少量任務(wù)特定微調(diào)，適應(yīng)未見臨床任務(wù)，并驗證模型性能。

7、優(yōu)選的，在步驟s1中，對全切片病理圖像進行預(yù)處理，提取腫瘤及腫瘤浸潤淋巴細(xì)胞區(qū)域的多尺度特征，具體過程如下：

8、步驟s11、將全切片病理圖像分割為512×512像素的非重疊圖像塊；

9、步驟s12、采用預(yù)訓(xùn)練的u-net模型對圖像塊進行語義分割，識別腫瘤區(qū)域和腫瘤浸潤淋巴細(xì)胞區(qū)域；

10、步驟s13、計算每個圖像塊中腫瘤和腫瘤浸潤淋巴細(xì)胞的面積占比，篩選出面積占比前100的圖像塊；

11、步驟s14、使用imagenet預(yù)訓(xùn)練的resnet-50模型，提取篩選后圖像塊的深度特征；

12、步驟s15、通過多示例學(xué)習(xí)方法，將每個多示例學(xué)習(xí)視為一個包，其包含的圖像塊作為實例，用于后續(xù)的臨床任務(wù)預(yù)測。

13、優(yōu)選的，在步驟s2中，構(gòu)建任務(wù)無關(guān)特征學(xué)習(xí)器，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，采用gumbel-softmax重參數(shù)化技術(shù)，實現(xiàn)架構(gòu)參數(shù)連續(xù)化更新，具體過程如下：

14、步驟s21、采用基于梯度優(yōu)化的darts算法的搜索策略，實現(xiàn)連續(xù)化架構(gòu)參數(shù)采樣，自動優(yōu)化任務(wù)無關(guān)特征學(xué)習(xí)器的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；

15、步驟s22、基于darts算法，結(jié)合gumbel-softmax重參數(shù)化技術(shù)，將離散的架構(gòu)參數(shù)連續(xù)化，實現(xiàn)可微分的架構(gòu)搜索，進而優(yōu)化架構(gòu)參數(shù)；

16、步驟s23、將搜索得到的最優(yōu)單元堆疊8次，構(gòu)建任務(wù)無關(guān)特征學(xué)習(xí)器主干網(wǎng)絡(luò)，進行多尺度特征融合；其中，在單元堆疊的第3和第6單元位置插入降采樣層，其步長=2。

17、優(yōu)選的，在步驟s21中，搜索空間包括可分離卷積、膨脹卷積、跳躍連接及transformer節(jié)點；

18、定義搜索空間，將網(wǎng)絡(luò)的單元結(jié)構(gòu)設(shè)計為包含6個節(jié)點的有向無環(huán)圖，具體包括：

19、（1）2個輸入節(jié)點，用于接收前驅(qū)單元的輸出特征；

20、（2）2個中間節(jié)點，支持的操作包括可分離卷積、膨脹卷積和跳躍連接；

21、（3）1個transformer節(jié)點，采用標(biāo)準(zhǔn)transformer模塊，增強全局特征交互；

22、（4）1個輸出節(jié)點，用于匯集所有中間節(jié)點和transformer節(jié)點的特征，生成單元的輸出。

23、優(yōu)選的，在步驟s22中，基于darts算法，結(jié)合gumbel-softmax重參數(shù)化技術(shù)，將離散的架構(gòu)參數(shù)連續(xù)化，實現(xiàn)可微分的架構(gòu)搜索，進而優(yōu)化架構(gòu)參數(shù)，如下所示：

24、；

25、其中，是平滑后的架構(gòu)參數(shù)；是第個候選操作的類別概率；是gumbel分布中采樣的噪聲；是溫度參數(shù)；表示候選操作索引；表示候選操作的總數(shù)量。

26、優(yōu)選的，在步驟s3中，通過任務(wù)級元學(xué)習(xí)算法，聯(lián)合優(yōu)化網(wǎng)絡(luò)權(quán)重與架構(gòu)參數(shù)，提取跨任務(wù)可重用特征，具體過程如下：

27、步驟s31、對訓(xùn)練數(shù)據(jù)集進行劃分，包括支持集和查詢集；

28、步驟s32、在內(nèi)循環(huán)中，通過支持集對每個任務(wù)的特定頭部進行快速微調(diào)，以適應(yīng)不同任務(wù)的需求；

29、步驟s33、在外循環(huán)中，通過查詢集聯(lián)合優(yōu)化網(wǎng)絡(luò)權(quán)重與架構(gòu)參數(shù)，提取跨任務(wù)可重用特征。

30、優(yōu)選的，在步驟s31中，訓(xùn)練數(shù)據(jù)集包括：癌癥亞型分類、tnm分期和生存預(yù)測；

31、每個任務(wù)隨機劃分支持集和查詢集；其中，訓(xùn)練數(shù)據(jù)集的80%為支持集，用于內(nèi)循環(huán)微調(diào)；訓(xùn)練數(shù)據(jù)集的20%為查詢集，用于外循環(huán)優(yōu)化。

32、優(yōu)選的，在步驟s32中，在內(nèi)循環(huán)通過支持集對每個任務(wù)的特定頭部進行快速微調(diào)，以適應(yīng)不同任務(wù)的需求；

33、在內(nèi)循環(huán)中，只更新模型的權(quán)重參數(shù)，更新公式如下：

34、；

35、其中，是任務(wù)在第步的網(wǎng)絡(luò)權(quán)重；是內(nèi)循環(huán)學(xué)習(xí)率；表示對權(quán)重的梯度計算；是任務(wù)的支持集損失函數(shù)；表示任務(wù)的學(xué)習(xí)器前向計算過程；是任務(wù)的支持集；是任務(wù)的特定頭部參數(shù)。

36、優(yōu)選的，在步驟s33中，在外循環(huán)通過查詢集聯(lián)合優(yōu)化網(wǎng)絡(luò)權(quán)重與架構(gòu)參數(shù)，提取跨任務(wù)可重用特征，聯(lián)合優(yōu)化目標(biāo)函數(shù)，如下所示：

37、；

38、其中，表示全局網(wǎng)絡(luò)權(quán)重參數(shù)；表示全局架構(gòu)參數(shù)；是網(wǎng)絡(luò)權(quán)重的外循環(huán)學(xué)習(xí)率；是架構(gòu)參數(shù)的外循環(huán)學(xué)習(xí)率；表示對聯(lián)合優(yōu)化目標(biāo)函數(shù)的梯度計算；表示任務(wù)的查詢集損失函數(shù)；是任務(wù)的查詢集；是任務(wù)在第步的網(wǎng)絡(luò)權(quán)重；是熵正則化項的權(quán)重系數(shù)；表示單元中節(jié)點的總數(shù)量；是表示節(jié)點到節(jié)點的平滑化架構(gòu)參數(shù)，通過gumbel-softmax重參數(shù)化后的連續(xù)概率分布；為熵正則化項。

39、在此引入熵正則化約束架構(gòu)參數(shù)，其定義如下：

40、；

41、其中，表示架構(gòu)參數(shù)的采樣概率，表示節(jié)點到節(jié)點的連接概率。

42、優(yōu)選的，在步驟s4中，通過少量任務(wù)特定微調(diào)，適應(yīng)未見臨床任務(wù)，并驗證模型性能，具體過程如下：

43、步驟s41、固定任務(wù)無關(guān)特征學(xué)習(xí)器干網(wǎng)絡(luò)的參數(shù)，確保在后續(xù)微調(diào)過程中，其參數(shù)不發(fā)生變化；

44、步驟s42、使用任務(wù)特定樣本對分類層進行微調(diào)，更新任務(wù)特定頭的參數(shù)；

45、步驟s43、輸出模型的預(yù)測結(jié)果，并對關(guān)鍵特征區(qū)域進行可視化展示。

46、因此，本發(fā)明采用上述一種基于全病理切片圖像的任務(wù)無關(guān)的特征學(xué)習(xí)方法，通過神經(jīng)架構(gòu)搜索自動優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，減少人工設(shè)計網(wǎng)絡(luò)的成本；通過任務(wù)級元學(xué)習(xí)算法，提取跨任務(wù)可重用特征，減少對未見任務(wù)的微調(diào)需求；通過熵正則化約束，提升模型的訓(xùn)練穩(wěn)定性與泛化能力。

47、下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細(xì)描述。