本發(fā)明涉及神經(jīng)康復(fù)、人工智能及人機(jī)交互，尤其涉及一種神經(jīng)反饋康復(fù)訓(xùn)練方法及系統(tǒng)。

背景技術(shù)：

1、目前，神經(jīng)反饋康復(fù)訓(xùn)練作為一種重要的腦功能康復(fù)手段，已廣泛應(yīng)用于認(rèn)知障礙、運(yùn)動(dòng)功能障礙、注意力缺陷等多種神經(jīng)相關(guān)疾病的干預(yù)過程中。然而，現(xiàn)有神經(jīng)反饋訓(xùn)練技術(shù)存在以下突出問題：

2、一方面，傳統(tǒng)康復(fù)訓(xùn)練系統(tǒng)多依賴單一模態(tài)信號(hào)(如僅基于腦電或心率信號(hào))，無法綜合反映用戶在訓(xùn)練過程中的復(fù)雜神經(jīng)-生理狀態(tài)，導(dǎo)致對(duì)用戶實(shí)際狀態(tài)的感知不全面，訓(xùn)練反饋的精準(zhǔn)度和個(gè)性化效果有限。

3、另一方面，現(xiàn)有系統(tǒng)缺乏動(dòng)態(tài)識(shí)別與實(shí)時(shí)調(diào)整機(jī)制，無法基于用戶實(shí)時(shí)行為反應(yīng)和神經(jīng)反饋動(dòng)態(tài)調(diào)整訓(xùn)練任務(wù)和反饋方式，導(dǎo)致康復(fù)訓(xùn)練過程中缺乏針對(duì)性，難以適應(yīng)用戶隨時(shí)間變化的康復(fù)狀態(tài)，影響康復(fù)效果和用戶依從性。

4、此外，缺乏高效的智能算法，尤其缺乏基于強(qiáng)化學(xué)習(xí)的自主訓(xùn)練策略生成機(jī)制，使得現(xiàn)有康復(fù)訓(xùn)練難以根據(jù)用戶歷史和實(shí)時(shí)數(shù)據(jù)自動(dòng)優(yōu)化個(gè)性化訓(xùn)練方案，同時(shí)也缺少多通道(視覺、聽覺、觸覺)融合的沉浸式交互方式，無法充分調(diào)動(dòng)用戶參與積極性和神經(jīng)功能的重塑潛力。

5、因此，亟需一種能夠基于腦電、近紅外、肌電、心率變異性等多模態(tài)神經(jīng)-生理信號(hào)，結(jié)合用戶行為響應(yīng)，動(dòng)態(tài)識(shí)別用戶個(gè)性化神經(jīng)狀態(tài)，并通過強(qiáng)化學(xué)習(xí)算法實(shí)時(shí)生成適應(yīng)用戶狀態(tài)變化的康復(fù)訓(xùn)練策略，同時(shí)通過沉浸式多通道交互實(shí)現(xiàn)實(shí)時(shí)反饋的智能康復(fù)訓(xùn)練方法與系統(tǒng)，以實(shí)現(xiàn)精準(zhǔn)、動(dòng)態(tài)、閉環(huán)的康復(fù)訓(xùn)練過程，有效提升神經(jīng)反饋訓(xùn)練的智能化、自適應(yīng)和個(gè)性化水平，從而提升康復(fù)訓(xùn)練效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種神經(jīng)反饋康復(fù)訓(xùn)練方法及系統(tǒng)，以解決如何基于腦電信號(hào)、近紅外信號(hào)、肌電信號(hào)和心率變異性等多模態(tài)神經(jīng)-生理數(shù)據(jù)，動(dòng)態(tài)識(shí)別用戶的個(gè)性化神經(jīng)狀態(tài)，并結(jié)合實(shí)時(shí)行為響應(yīng)，通過強(qiáng)化學(xué)習(xí)與沉浸式多通道反饋，生成適應(yīng)用戶狀態(tài)變化的個(gè)性化康復(fù)訓(xùn)練策略，從而實(shí)現(xiàn)精準(zhǔn)、動(dòng)態(tài)、閉環(huán)的神經(jīng)反饋康復(fù)訓(xùn)練過程的問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供了一種神經(jīng)反饋康復(fù)訓(xùn)練方法，包括：

3、基于多模態(tài)神經(jīng)-生理信號(hào)采集設(shè)備獲取用戶的腦電信號(hào)、近紅外信號(hào)、肌電信號(hào)以及心率變異性生理指標(biāo)，生成包含多維時(shí)序數(shù)據(jù)的神經(jīng)-生理信號(hào)數(shù)據(jù)序列，并將所述神經(jīng)-生理信號(hào)數(shù)據(jù)序列實(shí)時(shí)輸入至融合處理系統(tǒng)；

4、對(duì)所述神經(jīng)-生理信號(hào)數(shù)據(jù)序列進(jìn)行聯(lián)合預(yù)處理，包括基于深度學(xué)習(xí)算法進(jìn)行噪聲去除、偽跡移除以及異常波段抑制，提取包含頻域特征、時(shí)域特征和相干性特征的多模態(tài)聯(lián)合特征向量，生成標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列；

5、基于所述標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列，利用圖神經(jīng)網(wǎng)絡(luò)建模算法對(duì)用戶當(dāng)前的認(rèn)知狀態(tài)、運(yùn)動(dòng)狀態(tài)或情緒狀態(tài)進(jìn)行識(shí)別，生成包含神經(jīng)狀態(tài)標(biāo)簽的標(biāo)簽序列；

6、基于所述標(biāo)簽序列l(wèi)和用戶歷史訓(xùn)練數(shù)據(jù)，采用注意力機(jī)制動(dòng)態(tài)生成個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)；

7、基于所述個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)與訓(xùn)練目標(biāo)參數(shù)，采用強(qiáng)化學(xué)習(xí)算法生成包含訓(xùn)練任務(wù)類型、反饋方式參數(shù)及訓(xùn)練難度等級(jí)的智能訓(xùn)練策略數(shù)據(jù)；

8、將所述智能訓(xùn)練策略數(shù)據(jù)輸入至沉浸式交互系統(tǒng)，生成虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)場(chǎng)景，基于所述訓(xùn)練任務(wù)類型和反饋方式參數(shù)，實(shí)施視覺、聽覺及觸覺多通道的互動(dòng)訓(xùn)練任務(wù)，并實(shí)時(shí)記錄用戶在訓(xùn)練過程中的行為響應(yīng)與神經(jīng)反饋信號(hào)；

9、基于所述行為響應(yīng)和神經(jīng)反饋信號(hào)，結(jié)合個(gè)性化神經(jīng)狀態(tài)數(shù)據(jù)，動(dòng)態(tài)評(píng)估用戶訓(xùn)練效果，調(diào)整訓(xùn)練難度等級(jí)和反饋方式參數(shù)，生成個(gè)性化訓(xùn)練調(diào)整數(shù)據(jù)；

10、將所述神經(jīng)-生理信號(hào)數(shù)據(jù)序列、標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列、個(gè)性化神經(jīng)狀態(tài)數(shù)據(jù)、智能訓(xùn)練策略數(shù)據(jù)、用戶行為響應(yīng)與訓(xùn)練調(diào)整數(shù)據(jù)上傳至云端，基于云-邊協(xié)同計(jì)算架構(gòu)優(yōu)化圖神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)算法，更新至本地系統(tǒng)進(jìn)行后續(xù)訓(xùn)練。

11、進(jìn)一步地，其特征在于，所述對(duì)神經(jīng)-生理信號(hào)數(shù)據(jù)序列進(jìn)行聯(lián)合預(yù)處理的步驟，包括基于深度神經(jīng)網(wǎng)絡(luò)對(duì)所述腦電信號(hào)、近紅外信號(hào)、肌電信號(hào)、心率變異性信號(hào)的時(shí)域偽跡和頻域異常進(jìn)行聯(lián)合去噪，輸出去噪后的神經(jīng)-生理信號(hào)序列。

12、進(jìn)一步地，其特征在于，所述標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列的生成步驟，包括對(duì)去噪后的神經(jīng)-生理信號(hào)序列進(jìn)行時(shí)頻特征提取、信號(hào)間相干性分析、互信息計(jì)算，并聯(lián)合形成多模態(tài)聯(lián)合特征向量后標(biāo)準(zhǔn)化得到標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列。

13、進(jìn)一步地，其特征在于，所述基于標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列識(shí)別用戶當(dāng)前神經(jīng)狀態(tài)的步驟，包括采用圖神經(jīng)網(wǎng)絡(luò)算法，將不同生理信號(hào)的特征作為圖的節(jié)點(diǎn)，特征相關(guān)性作為圖的邊，建立圖結(jié)構(gòu)神經(jīng)狀態(tài)圖，輸出神經(jīng)狀態(tài)標(biāo)簽序列。

14、進(jìn)一步地，其特征在于，所述基于標(biāo)簽序列和歷史訓(xùn)練數(shù)據(jù)生成個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)的步驟，包括基于注意力機(jī)制根據(jù)歷史訓(xùn)練數(shù)據(jù)賦予每個(gè)標(biāo)簽不同的權(quán)重，動(dòng)態(tài)計(jì)算個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)。

15、進(jìn)一步地，其特征在于，所述基于個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)與訓(xùn)練目標(biāo)生成智能訓(xùn)練策略數(shù)據(jù)的步驟，包括：

16、構(gòu)建基于策略梯度的訓(xùn)練任務(wù)決策函數(shù)，生成訓(xùn)練任務(wù)候選集合；

17、基于強(qiáng)化學(xué)習(xí)算法從所述訓(xùn)練任務(wù)候選集合中篩選最優(yōu)任務(wù)，輸出包含訓(xùn)練任務(wù)類型、反饋方式參數(shù)與訓(xùn)練難度等級(jí)的智能訓(xùn)練策略數(shù)據(jù)。

18、進(jìn)一步地，其特征在于，所述將智能訓(xùn)練策略數(shù)據(jù)輸入沉浸式交互系統(tǒng)的步驟，包括根據(jù)訓(xùn)練任務(wù)類型生成虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)場(chǎng)景，并基于反饋方式參數(shù)輸出多通道互動(dòng)訓(xùn)練任務(wù)，通過視覺、聽覺、觸覺向用戶反饋訓(xùn)練信息。

19、進(jìn)一步地，其特征在于，所述動(dòng)態(tài)評(píng)估用戶訓(xùn)練效果的步驟，包括：

20、基于行為響應(yīng)數(shù)據(jù)與神經(jīng)反饋信號(hào)，結(jié)合個(gè)性化神經(jīng)狀態(tài)數(shù)據(jù)，計(jì)算用戶訓(xùn)練效果，生成即時(shí)訓(xùn)練效果數(shù)據(jù)；

21、依據(jù)所述即時(shí)訓(xùn)練效果數(shù)據(jù)，調(diào)整訓(xùn)練難度等級(jí)和反饋方式參數(shù)，生成個(gè)性化訓(xùn)練調(diào)整數(shù)據(jù)，供后續(xù)訓(xùn)練調(diào)用。

22、進(jìn)一步地，其特征在于，所述將訓(xùn)練調(diào)整數(shù)據(jù)反饋至強(qiáng)化學(xué)習(xí)算法的步驟，包括：

23、依據(jù)訓(xùn)練調(diào)整數(shù)據(jù)動(dòng)態(tài)修正訓(xùn)練任務(wù)決策函數(shù)的參數(shù)，通過持續(xù)強(qiáng)化學(xué)習(xí)優(yōu)化訓(xùn)練任務(wù)的適應(yīng)性與精準(zhǔn)性。

24、進(jìn)一步地，其特征在于，所述上傳至云端的數(shù)據(jù)包括神經(jīng)-生理信號(hào)數(shù)據(jù)序列、標(biāo)準(zhǔn)化多模態(tài)特征數(shù)據(jù)序列、個(gè)性化神經(jīng)狀態(tài)數(shù)據(jù)、智能訓(xùn)練策略數(shù)據(jù)、用戶行為響應(yīng)數(shù)據(jù)與訓(xùn)練調(diào)整數(shù)據(jù)；

25、基于聯(lián)邦學(xué)習(xí)算法優(yōu)化所述圖神經(jīng)網(wǎng)絡(luò)模型與強(qiáng)化學(xué)習(xí)策略生成算法，生成優(yōu)化后的模型參數(shù)，分發(fā)至本地系統(tǒng)更新訓(xùn)練策略和神經(jīng)狀態(tài)識(shí)別算法。

26、以下為其主要的有益效果：

27、(1)實(shí)現(xiàn)基于多模態(tài)神經(jīng)-生理信號(hào)的精準(zhǔn)識(shí)別，提升神經(jīng)狀態(tài)監(jiān)測(cè)的全面性與準(zhǔn)確性。本發(fā)明通過同步獲取腦電、近紅外、肌電、心率變異性等多種神經(jīng)-生理信號(hào)，經(jīng)過聯(lián)合預(yù)處理與標(biāo)準(zhǔn)化融合，能夠全面反映用戶在康復(fù)訓(xùn)練過程中的神經(jīng)活動(dòng)狀態(tài)，相比傳統(tǒng)單一信號(hào)監(jiān)測(cè)方式，有效提升神經(jīng)狀態(tài)識(shí)別的精準(zhǔn)性和動(dòng)態(tài)適應(yīng)能力，為康復(fù)訓(xùn)練提供科學(xué)依據(jù)。

28、(2)基于注意力機(jī)制與圖神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)生成個(gè)性化神經(jīng)狀態(tài)趨勢(shì)數(shù)據(jù)，增強(qiáng)訓(xùn)練策略的針對(duì)性和自適應(yīng)。本發(fā)明首次將注意力機(jī)制與圖神經(jīng)網(wǎng)絡(luò)算法結(jié)合，針對(duì)用戶當(dāng)前神經(jīng)狀態(tài)及歷史訓(xùn)練數(shù)據(jù)，動(dòng)態(tài)生成個(gè)性化神經(jīng)狀態(tài)趨勢(shì)，作為后續(xù)訓(xùn)練策略生成的關(guān)鍵參數(shù)，使訓(xùn)練任務(wù)動(dòng)態(tài)適應(yīng)用戶當(dāng)下能力變化，避免固定訓(xùn)練方案無法適應(yīng)用戶變化的問題，從而有效提高康復(fù)訓(xùn)練的個(gè)性化和科學(xué)性。

29、(3)基于強(qiáng)化學(xué)習(xí)的個(gè)性化康復(fù)訓(xùn)練策略與沉浸式多通道交互系統(tǒng)，構(gòu)建完整閉環(huán)訓(xùn)練機(jī)制，提升康復(fù)訓(xùn)練效果。本發(fā)明通過強(qiáng)化學(xué)習(xí)算法自動(dòng)生成與用戶神經(jīng)狀態(tài)匹配的訓(xùn)練任務(wù)，結(jié)合虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)生成沉浸式互動(dòng)訓(xùn)練場(chǎng)景，并根據(jù)訓(xùn)練反饋實(shí)時(shí)調(diào)整任務(wù)難度和反饋方式，形成動(dòng)態(tài)閉環(huán)訓(xùn)練體系。相比傳統(tǒng)預(yù)設(shè)固定訓(xùn)練任務(wù)的方式，更能針對(duì)用戶實(shí)時(shí)反饋動(dòng)態(tài)調(diào)整訓(xùn)練方案，有效提升康復(fù)訓(xùn)練效果與持續(xù)性，增強(qiáng)用戶主動(dòng)參與感。