本技術(shù)涉及自動(dòng)控制，尤其涉及一種基于人體關(guān)鍵特征定位的超聲機(jī)器人軌跡規(guī)劃方法。

背景技術(shù)：

1、超聲機(jī)器人是傳統(tǒng)醫(yī)學(xué)與人工智能相結(jié)合的產(chǎn)物，它一般由超聲機(jī)械臂、超聲設(shè)備、全局相機(jī)、力傳感器等組成，能逐漸代替超聲醫(yī)師進(jìn)行自主掃描，同時(shí)實(shí)時(shí)處理掃描得到的超聲圖像，以輔助超聲醫(yī)師進(jìn)行診斷與治療。

2、為了讓超聲機(jī)器人能夠在人體目標(biāo)皮膚區(qū)域進(jìn)行掃描與采集圖像，需要對(duì)人體目標(biāo)組織的解剖結(jié)構(gòu)進(jìn)行定位，有研究通過機(jī)械臂示教的方式進(jìn)行定位，也有研究將磁共振成像(mri)或計(jì)算機(jī)斷層掃描(ct)圖像與超聲圖像進(jìn)行配準(zhǔn)，從而借助其他醫(yī)學(xué)影像定位人體目標(biāo)組織，然而，第一種方法的自主性太差，過分依賴人為操作；第二種方法的成本較高，在進(jìn)行超聲掃描的同時(shí)，還需要進(jìn)行mri或ct操作，違背了超聲診療成本低的特點(diǎn)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的主要目的在于提出一種基于人體關(guān)鍵特征定位的超聲機(jī)器人軌跡規(guī)劃方法，以提高超聲機(jī)器人掃描的掃描精度。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的一方面提出了一種基于人體關(guān)鍵特征定位的超聲機(jī)器人軌跡規(guī)劃方法，所述方法包括以下步驟：

3、檢測全局相機(jī)獲取的圖像中的人體進(jìn)而輸出人體的檢測框；

4、基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部；

5、控制超聲機(jī)器人中的超聲探頭移動(dòng)到所述人體頸部的位置，進(jìn)而解算得到所述超聲探頭的位姿作為初始位姿；

6、解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，進(jìn)而控制所述超聲探頭從所述初始位姿運(yùn)動(dòng)到所述期望位姿；

7、根據(jù)所述人體關(guān)鍵特征對(duì)所述超聲探頭從初始掃描位置開始進(jìn)行軌跡規(guī)劃；其中，所述超聲探頭處于所述期望位姿時(shí)所處的位置作為所述初始掃描位置。

8、在一些實(shí)施例中，所述檢測全局相機(jī)獲取的圖像中的人體進(jìn)而輸出人體的檢測框，包括以下步驟：

9、以resnet作為檢測主干網(wǎng)絡(luò)，利用所述檢測主干網(wǎng)絡(luò)提取所述圖像的特征圖作為檢測特征圖；

10、以fpn作為檢測頸部網(wǎng)絡(luò)，利用所述檢測頸部網(wǎng)絡(luò)對(duì)所述檢測特征圖進(jìn)行特征融合與增強(qiáng)，得到多尺度特征圖；

11、以faster?r-cnn作為檢測頭部網(wǎng)絡(luò)，使用所述檢測頭部網(wǎng)絡(luò)中的rpn在所述多尺度特征圖上生成候選區(qū)域，再通過align操作提取所述候選區(qū)域的特征，進(jìn)而對(duì)所述候選區(qū)域的特征進(jìn)行分類和檢測框回歸，得到人體的所述檢測框。

12、在一些實(shí)施例中，所述基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部，包括以下步驟：

13、以resnet作為預(yù)測主干網(wǎng)絡(luò)，利用所述預(yù)測主干網(wǎng)絡(luò)對(duì)所述圖像中所述檢測框?qū)?yīng)的子圖像提取特征，得到預(yù)測特征圖；

14、以fmp作為預(yù)測頸部網(wǎng)絡(luò)，利用所述預(yù)測頸部網(wǎng)絡(luò)對(duì)所述預(yù)測特征圖進(jìn)行選擇、拼接和縮放進(jìn)而轉(zhuǎn)換為適合預(yù)測頭部網(wǎng)絡(luò)的格式，得到轉(zhuǎn)換特征圖；

15、利用所述預(yù)測頭部網(wǎng)絡(luò)將所述預(yù)測特征圖和所述轉(zhuǎn)換特征圖中的所述人體關(guān)鍵特征輸出為對(duì)應(yīng)的熱圖；其中，每個(gè)熱圖的值用于反映對(duì)應(yīng)所述人體關(guān)鍵特征在對(duì)應(yīng)特征圖上各位置的置信度；

16、根據(jù)所述熱圖解碼出包括所述人體關(guān)鍵特征的解碼圖像，進(jìn)而根據(jù)所述解碼圖像預(yù)測出所述人體關(guān)鍵特征的位置。

17、在一些實(shí)施例中，所述解算得到所述超聲探頭的位姿作為初始位姿，包括以下步驟：

18、解算出經(jīng)過所述人體頸部的位置的目標(biāo)法向量作為所述超聲探頭的位姿的y軸；

19、根據(jù)所述人體關(guān)鍵特征確定人體左右肩的特征點(diǎn)；

20、將所述人體左右肩的特征點(diǎn)連線；

21、確定與所述連線平行且經(jīng)過所述人體頸部的位置的直線為所述超聲探頭的位姿的x軸；

22、其中，所述超聲探頭的位姿的y軸和x軸作為所述初始位姿。

23、在一些實(shí)施例中，所述解算出經(jīng)過所述人體頸部的位置的目標(biāo)法向量作為所述超聲探頭的位姿的y軸，包括以下步驟：

24、在所述人體頸部的位置的預(yù)設(shè)范圍內(nèi)選取多個(gè)不共線的目標(biāo)點(diǎn)，且各個(gè)所述目標(biāo)點(diǎn)位于人體頸部的區(qū)域；

25、利用所述全局相機(jī)獲取各個(gè)所述目標(biāo)的深度信息；

26、根據(jù)所述深度信息形成一個(gè)經(jīng)過所述人體頸部的位置的平面；

27、根據(jù)所述平面和所述人體頸部的位置解算出所述目標(biāo)法向量作為所述超聲探頭的位姿的y軸。

28、在一些實(shí)施例中，所述解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，包括以下步驟：

29、構(gòu)建二次規(guī)劃問題如下：

30、

31、其中，x為待優(yōu)化的決策變量，h為對(duì)稱正定的二次矩陣，f為線性系數(shù)向量，(a?b)用于描述不等式約束，(aeq?beq)用于描述等式約束，(lb?ub)用于約束x的大??；

32、根據(jù)所述超聲機(jī)器人的機(jī)械臂的邊界條件、所述機(jī)械臂的末端位姿、避障約束條件和所述機(jī)械臂的關(guān)節(jié)角限制條件將所述二次規(guī)劃問題進(jìn)行離散化，得到軌跡優(yōu)化問題；

33、所述軌跡優(yōu)化問題為：

34、

35、其中，q為待優(yōu)化的關(guān)節(jié)角變量，(aobs?bobs)用于描述障礙物約束條件，(abd?bbd)用于描述邊界約束條件，(qmin?qmax)用于描述關(guān)節(jié)角約束條件；

36、根據(jù)所述軌跡優(yōu)化問題求解得到所述機(jī)械臂中各個(gè)關(guān)節(jié)的期望關(guān)節(jié)角；

37、根據(jù)各個(gè)所述期望關(guān)節(jié)角確定所述期望位姿。

38、在一些實(shí)施例中，所述根據(jù)所述人體關(guān)鍵特征對(duì)所述超聲探頭從初始掃描位置開始進(jìn)行軌跡規(guī)劃，包括以下步驟：

39、從所述初始掃描位置開始沿著同一方向掃描采樣得到多個(gè)掃描點(diǎn)，并采用多項(xiàng)式插值的方法得到掃描的軌跡；

40、根據(jù)所述全局相機(jī)獲取的點(diǎn)的深度信息解算出所述超聲探頭在各個(gè)所述掃描點(diǎn)處的期望探頭位姿；

41、根據(jù)各個(gè)所述期望探頭位姿控制超聲機(jī)器人實(shí)現(xiàn)掃描操作；

42、將所述超聲探頭旋轉(zhuǎn)90°，返回所述從所述初始掃描位置開始沿著同一方向掃描采樣得到多個(gè)掃描點(diǎn)，并采用多項(xiàng)式插值的方法得到掃描的軌跡的步驟；

43、在所述超聲探頭掃描的過程中，采用隨機(jī)游走算法對(duì)所述全局相機(jī)拍攝的圖像中像素的置信度進(jìn)行求解；當(dāng)任意區(qū)域的像素的所述置信度低于設(shè)定閾值時(shí)，調(diào)整所述超聲探頭的位姿；

44、在所述超聲探頭掃描的過程中，利用nnu-net模型對(duì)所述全局相機(jī)拍攝的圖像進(jìn)行圖像分割，得到甲狀腺區(qū)域；根據(jù)分割得到的所述甲狀腺區(qū)域動(dòng)態(tài)調(diào)整所述超聲探頭的位姿。

45、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種基于人體關(guān)鍵特征定位的超聲機(jī)器人軌跡規(guī)劃裝置，所述裝置包括：

46、人體檢測單元，用于檢測全局相機(jī)獲取的圖像中的人體進(jìn)而輸出人體的檢測框；

47、特征預(yù)測單元，用于基于所述檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，所述人體關(guān)鍵特征包括人體頸部；

48、位姿解算單元，用于控制超聲機(jī)器人中的超聲探頭移動(dòng)到所述人體頸部的位置，進(jìn)而解算得到所述超聲探頭的位姿作為初始位姿；

49、探頭移動(dòng)單元，用于解算得到所述超聲探頭在所述人體關(guān)鍵特征處的期望位姿，進(jìn)而控制所述超聲探頭從所述初始位姿運(yùn)動(dòng)到所述期望位姿；

50、軌跡規(guī)劃單元，用于根據(jù)所述人體關(guān)鍵特征對(duì)所述超聲探頭從初始掃描位置開始進(jìn)行軌跡規(guī)劃；其中，所述超聲探頭處于所述期望位姿時(shí)所處的位置作為所述初始掃描位置。

51、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法。

52、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法。

53、本技術(shù)實(shí)施例至少包括以下有益效果：

54、本技術(shù)可以檢測全局相機(jī)獲取的圖像中的人體進(jìn)而輸出人體的檢測框；基于檢測框預(yù)測出人體關(guān)鍵特征的位置；其中，人體關(guān)鍵特征包括人體頸部；控制超聲機(jī)器人中的超聲探頭移動(dòng)到人體頸部的位置，進(jìn)而解算得到超聲探頭的位姿作為初始位姿；解算得到超聲探頭在人體關(guān)鍵特征處的期望位姿，進(jìn)而控制超聲探頭從初始位姿運(yùn)動(dòng)到期望位姿；根據(jù)人體關(guān)鍵特征對(duì)超聲探頭從初始掃描位置開始進(jìn)行軌跡規(guī)劃；其中，超聲探頭處于期望位姿時(shí)所處的位置作為初始掃描位置。本技術(shù)通過人體關(guān)鍵特征對(duì)超聲探頭進(jìn)行軌跡規(guī)劃，可實(shí)施調(diào)整超聲探頭在掃描過程中的位姿，能夠提高超聲探頭的掃描精度。