本技術(shù)涉及植物葉綠素?zé)晒獾?，特別是涉及一種植物光合生理三維成像裝置及方法。

背景技術(shù)：

1、在自然和農(nóng)業(yè)生產(chǎn)環(huán)境下，光合生理信息是評(píng)估植物健康、生長(zhǎng)潛力和環(huán)境適應(yīng)能力的重要指標(biāo)，為全面了解作物的光合生理信息，不僅需要考慮傳統(tǒng)的生長(zhǎng)參數(shù)，如作物形態(tài)特征和葉綠素含量，還需要關(guān)注葉綠素?zé)晒獾榷鄠€(gè)參數(shù)。葉綠素?zé)晒庾鳛楣夂献饔醚芯康挠行结槪呀?jīng)成為衡量作物光合效率的重要手段，植物光合生理三維成像能夠直觀展示植物的生長(zhǎng)情況以及光合信息，實(shí)現(xiàn)對(duì)植物生長(zhǎng)發(fā)育的實(shí)時(shí)監(jiān)測(cè)。另外，使用植物光合生理的三維模型能夠?yàn)樽魑锕夂仙淼漠愘|(zhì)性分析提供技術(shù)支撐，因此快速精準(zhǔn)的植物光合生理三維成像對(duì)于植物的生長(zhǎng)發(fā)育、病害防治以及逆境脅迫應(yīng)答等研究至關(guān)重要。

2、常見(jiàn)的三維成像方法有體素網(wǎng)格、神經(jīng)輻射場(chǎng)、點(diǎn)云等，例如公開號(hào)為cn116678862a的中國(guó)發(fā)明專利文獻(xiàn)公開了一種植株葉綠素?zé)晒馊S成像裝置及方法。該裝置使用藍(lán)紫色led燈作為激發(fā)光源檢測(cè)葉綠素?zé)晒猓诓煌恢霉庠聪芦@取植株單視角圖像通過(guò)植株神經(jīng)輻射場(chǎng)對(duì)植株進(jìn)行三維重建，生成植株細(xì)致三維模型，同時(shí)結(jié)合渲染對(duì)植株精細(xì)三維模型進(jìn)行優(yōu)化，得到植株三維圖像以及植株葉綠素?zé)晒馊S圖像。

3、現(xiàn)有技術(shù)中的熒光成像系統(tǒng)大多采用二維成像方式，無(wú)法準(zhǔn)確反映植物葉片的三維結(jié)構(gòu)和光合效率的空間異質(zhì)性。

技術(shù)實(shí)現(xiàn)思路

1、1.要解決的問(wèn)題

2、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高植物光合生理三維成像的精度和速度的植物光合生理三維成像裝置、成像方法及系統(tǒng)。

3、2.技術(shù)方案

4、第一方面，本技術(shù)提供了一種植物光合生理三維成像裝置。裝置包括：暗箱，所述暗箱上設(shè)有密封布，所述暗箱遠(yuǎn)離密封布的一端設(shè)有植物旋轉(zhuǎn)托盤，所述密封布和植物旋轉(zhuǎn)托盤用于封閉暗箱，所述暗箱朝向植物旋轉(zhuǎn)托盤的一端設(shè)有光源模塊和結(jié)構(gòu)光投影模塊，所述光源模塊包括若干白色led燈珠構(gòu)成的白色光源和若干藍(lán)色led燈珠構(gòu)成的藍(lán)色光源，所述白色光源和藍(lán)色光源交錯(cuò)排列設(shè)置，所述led燈珠上設(shè)有自由曲面反光杯，所述暗箱上設(shè)有至少兩個(gè)拍攝模塊，所述拍攝模塊上設(shè)有濾波輪，所述濾波輪至少包括rgb三個(gè)波段的濾波片、近紅外濾波片和無(wú)光濾波片，所述拍攝模塊連接有上位機(jī)。

5、第二方面，本技術(shù)還提供了一種植物光合生理三維成像方法。方法包括：

6、切換白色光源和藍(lán)色光源，基于拍攝模塊和濾波輪分別采集白色光源下的植物彩色圖像和藍(lán)色光源下的植物葉綠素?zé)晒鈭D像；

7、通過(guò)拍攝模塊采集植物結(jié)構(gòu)光條紋圖像；

8、基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像并獲取三維點(diǎn)云信息；

9、提取生成的兩組三維點(diǎn)云信息，通過(guò)對(duì)三維點(diǎn)云信息的配準(zhǔn)、分割和補(bǔ)全對(duì)植物進(jìn)行三維重建，生成植物高精度三維模型；

10、將植物彩色圖像和植物葉綠素?zé)晒鈭D像渲染至植物高精度三維模型并獲取植物葉綠素?zé)晒馊S圖像以及光合生理信息。

11、在其中一個(gè)實(shí)施例中，在所述切換白色光源和藍(lán)色光源之前，包括：

12、初始化一個(gè)led交錯(cuò)陣列；

13、預(yù)設(shè)粒子群算法參數(shù)，所述粒子群算法參數(shù)至少包括慣性權(quán)重的范圍和學(xué)習(xí)因子；

14、計(jì)算每個(gè)粒子對(duì)應(yīng)的初始陣列光強(qiáng)分布標(biāo)準(zhǔn)差；

15、基于模擬光強(qiáng)分布，將每個(gè)led燈珠的光強(qiáng)按照距離衰減公式疊加到目標(biāo)平面上，得到光強(qiáng)分布圖；

16、計(jì)算初始陣列光強(qiáng)分布標(biāo)準(zhǔn)差并通過(guò)采用非線性遞減動(dòng)態(tài)調(diào)整慣性權(quán)重w的值，非線性遞減的慣性權(quán)重公式如下：

17、；

18、其中，是初始慣性權(quán)重即為最大值，是最終慣性權(quán)重即為最小值，是當(dāng)前迭代次數(shù)，是最大迭代次數(shù)。

19、在其中一個(gè)實(shí)施例中，初始化一個(gè)led交錯(cuò)陣列包括：

20、基于所述led交錯(cuò)陣列構(gòu)建自由曲面反光杯，所述自由曲面反光杯包括第一曲面和第二曲面，所述第一曲面用于小角度光線直接出射到達(dá)預(yù)設(shè)的目標(biāo)面，所述第二曲面用于大角度光線通過(guò)反光杯內(nèi)表面反射到達(dá)預(yù)設(shè)的目標(biāo)面；

21、構(gòu)建光源強(qiáng)度分布模型，所述光源強(qiáng)度分布模型公式如下：

22、；

23、其中，為光源出射光線與光軸的夾角；為在光軸方向上距離光源為處的輻射度；為光源的輻射模式，當(dāng)光源為完美的理想朗伯光源時(shí)，=1；

24、基于非理想光源特性校正模型對(duì)非朗伯特性進(jìn)行修正，修正后光源強(qiáng)度分布如下：

25、；

26、其中，是修正系數(shù)，為光源出射光線與光軸的夾角；為在光軸方向上距離光源為處的輻射度；為光源的輻射模式；

27、對(duì)自由曲面反光杯進(jìn)行建模，自由曲面反光杯焦平面任意一點(diǎn)的輻照強(qiáng)度如下：

28、；

29、其中，為led發(fā)光芯片的亮度，單位為；為反光杯面積；為反光杯的位置坐標(biāo)；

30、若存在個(gè)自由曲面反光杯同時(shí)照射時(shí)，總強(qiáng)度公式如下：

31、=；

32、自由曲面反光杯的總強(qiáng)度公式如下：

33、；

34、其中，和分別為矩形陣列和環(huán)形陣列的光源數(shù)量，和分別為矩形和環(huán)形陣列配有反光杯的面積，和為環(huán)形陣列中第個(gè)光源的半徑和角度。

35、在其中一個(gè)實(shí)施例中，基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像包括：

36、基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像生成精準(zhǔn)的三維點(diǎn)云信息和；

37、采用改進(jìn)最大團(tuán)3d配準(zhǔn)方法對(duì)兩組三維點(diǎn)云信息和進(jìn)行配準(zhǔn)生產(chǎn)高精準(zhǔn)的點(diǎn)云信息；

38、采用bioneformer3d和rsvdformer兩個(gè)網(wǎng)絡(luò)模型分別對(duì)三維點(diǎn)云信息進(jìn)行分割和補(bǔ)全，生成植物高精度三維模型；

39、通過(guò)融合植物彩色圖像和葉綠素?zé)晒鈭D像實(shí)現(xiàn)植物三維高精度渲染，獲得植物葉綠素?zé)晒馊S圖像以及光合生理信息。

40、在其中一個(gè)實(shí)施例中，采用改進(jìn)最大團(tuán)3d配準(zhǔn)方法對(duì)兩組三維點(diǎn)云信息和進(jìn)行配準(zhǔn)生產(chǎn)高精準(zhǔn)的點(diǎn)云信息包括：

41、基于深度學(xué)習(xí)模型pointnet++提取點(diǎn)云的局部特征；

42、基于所述局部特征輸入至圖神經(jīng)網(wǎng)絡(luò)處理，聚合鄰域信息以更新每個(gè)節(jié)點(diǎn)的特征表示；

43、基于圖神經(jīng)網(wǎng)絡(luò)輸出的特征表示，重新評(píng)估匹配點(diǎn)對(duì)的質(zhì)量，篩選出更可靠的匹配點(diǎn)對(duì)，形成初始對(duì)應(yīng)集；

44、構(gòu)造一階圖和二階圖實(shí)現(xiàn)兼容性圖的構(gòu)造并基于bron-kerbosch算法搜索圖中所有的極大團(tuán)；

45、基于預(yù)設(shè)的節(jié)點(diǎn)權(quán)重和團(tuán)內(nèi)一致性對(duì)極大團(tuán)進(jìn)行排序，優(yōu)先選擇權(quán)重更高且一致性更好的團(tuán)；

46、利用奇異值分解算法對(duì)選定的團(tuán)計(jì)算變換假設(shè)，基于最優(yōu)假設(shè)實(shí)現(xiàn)兩組點(diǎn)云和的配準(zhǔn)。

47、在其中一個(gè)實(shí)施例中，采用bioneformer3d和rsvdformer兩個(gè)網(wǎng)絡(luò)模型分別對(duì)三維點(diǎn)云信息進(jìn)行分割和補(bǔ)全包括：

48、bioneformer3d具體包括：稀疏3d?u-net骨干網(wǎng)絡(luò)、超點(diǎn)池化操作、bi-transformer?decoder?layer和輸出層；

49、所述稀疏3d?u-net骨干網(wǎng)絡(luò)包括編碼器和解碼器，編碼器部分由多層稀疏卷積層構(gòu)成，逐層提取更高層次的特征；

50、利用跳躍連接將編碼器的特征直接傳遞至解碼器的對(duì)應(yīng)層實(shí)現(xiàn)特征融合；

51、解碼器輸出的通道數(shù)為c的逐點(diǎn)特征，經(jīng)過(guò)稀疏3d?u-net提取的逐點(diǎn)特征，通過(guò)超點(diǎn)池化操作聚合為超點(diǎn)特征；

52、輸出的超點(diǎn)特征作為鍵和值輸入至bi-transformer?decoder?layer中，將可學(xué)習(xí)的語(yǔ)義查詢和實(shí)例查詢作為輸入傳遞至bi-transformer?decoder?layer；

53、rsvdformer網(wǎng)絡(luò)模型具體包括：輸入數(shù)據(jù)、特征提取主干、特征融合模塊和解碼與上采樣模塊；

54、所述輸入數(shù)據(jù)包括部分低分辨率點(diǎn)云數(shù)據(jù)和3d點(diǎn)云數(shù)據(jù)通過(guò)多視圖映射生成的二維圖像；

55、所述特征提取主干分為3d?backbone和2d?backbone；3d?backbone采用pointnet++網(wǎng)絡(luò)，對(duì)輸入的3d點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，生成特征向量；2d?backbone采用mobilenetv3網(wǎng)絡(luò)，對(duì)二維圖像進(jìn)行特征提取，生成特征向量。

56、特征融合模塊構(gòu)建了一種新的多模態(tài)循環(huán)特征融合模塊；

57、解碼與上采樣模塊利用1d卷積轉(zhuǎn)置層和自注意力層生成粗略點(diǎn)云，與原始點(diǎn)云數(shù)據(jù)合并、重新采樣得到粗略結(jié)果；

58、生成的粗略點(diǎn)云進(jìn)入細(xì)節(jié)優(yōu)化階段，通過(guò)sdg模塊進(jìn)行細(xì)化和上采樣，最終生成高精度的完整點(diǎn)云。

59、第三方面，本技術(shù)還提供了一種植物光合生理三維成像系統(tǒng)。系統(tǒng)包括：

60、植物彩色圖像和葉綠素?zé)晒鈭D像獲取模塊，用于切換白色光源和藍(lán)色光源，基于拍攝模塊和濾波輪分別采集白色光源下的植物彩色圖像和藍(lán)色光源下的植物葉綠素?zé)晒鈭D像；

61、植物結(jié)構(gòu)光條紋圖像獲取模塊，用于植物結(jié)構(gòu)光條紋圖像通過(guò)拍攝模塊采集植物結(jié)構(gòu)光條紋圖像；

62、三維點(diǎn)云獲取模塊，用于基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像并獲取三維點(diǎn)云信息；

63、高精度三維模型生成模塊，用于提取生成的兩組三維點(diǎn)云信息，通過(guò)對(duì)三維點(diǎn)云信息的配準(zhǔn)、分割和補(bǔ)全對(duì)植物進(jìn)行三維重建，生成植物高精度三維模型；

64、三維圖像以及光合生理獲取模塊，用于將植物彩色圖像和植物葉綠素?zé)晒鈭D像渲染至植物高精度三維模型并獲取植物葉綠素?zé)晒馊S圖像以及光合生理信息。

65、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備。計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

66、切換白色光源和藍(lán)色光源，基于拍攝模塊和濾波輪分別采集白色光源下的植物彩色圖像和藍(lán)色光源下的植物葉綠素?zé)晒鈭D像；

67、通過(guò)拍攝模塊采集植物結(jié)構(gòu)光條紋圖像；

68、基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像并獲取三維點(diǎn)云信息；

69、提取生成的兩組三維點(diǎn)云信息，通過(guò)對(duì)三維點(diǎn)云信息的配準(zhǔn)、分割和補(bǔ)全對(duì)植物進(jìn)行三維重建，生成植物高精度三維模型；

70、將植物彩色圖像和植物葉綠素?zé)晒鈭D像渲染至植物高精度三維模型并獲取植物葉綠素?zé)晒馊S圖像以及光合生理信息。

71、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

72、切換白色光源和藍(lán)色光源，基于拍攝模塊和濾波輪分別采集白色光源下的植物彩色圖像和藍(lán)色光源下的植物葉綠素?zé)晒鈭D像；

73、通過(guò)拍攝模塊采集植物結(jié)構(gòu)光條紋圖像；

74、基于三頻四步相移結(jié)構(gòu)光算法處理植物結(jié)構(gòu)光條紋圖像并獲取三維點(diǎn)云信息；

75、提取生成的兩組三維點(diǎn)云信息，通過(guò)對(duì)三維點(diǎn)云信息的配準(zhǔn)、分割和補(bǔ)全對(duì)植物進(jìn)行三維重建，生成植物高精度三維模型；

76、將植物彩色圖像和植物葉綠素?zé)晒鈭D像渲染至植物高精度三維模型并獲取植物葉綠素?zé)晒馊S圖像以及光合生理信息。

77、3.有益效果

78、（1）本發(fā)明提出一種植物光合生理三維成像裝置，運(yùn)用改進(jìn)的粒子群算法優(yōu)化led陣列，形成交錯(cuò)型led陣列，克服了大部分led陣列導(dǎo)致的光照強(qiáng)度不均勻問(wèn)題，改進(jìn)后的led陣列大幅度提高光照度的均勻性；運(yùn)用自由曲面反光杯發(fā)射出的光照能量，能夠?qū)邮苊嫔系木鶆驈?qiáng)照區(qū)域進(jìn)行補(bǔ)償，將大角度出射光線進(jìn)行匯聚收集，使更多光線到達(dá)目標(biāo)面，最終形成光照強(qiáng)度均勻的光斑分布，大幅度提升了均勻的光斑分布。

79、（2）本發(fā)明提出一種植物光合生理三維成像方法，使用結(jié)構(gòu)光投影儀，投影出的結(jié)構(gòu)光條紋在作物上清晰，低噪點(diǎn)，易于植物的三維重建；通過(guò)使用雙相機(jī)采用三頻四步相移面結(jié)構(gòu)光算法生成點(diǎn)云信息，從而采集植物的兩組各七張結(jié)構(gòu)光條紋圖像，將生成的兩組點(diǎn)云信息進(jìn)行配準(zhǔn)、分割、補(bǔ)全，克服了單視角輸入場(chǎng)景中的復(fù)雜幾何結(jié)構(gòu)和遮擋部分難以被準(zhǔn)確重建問(wèn)題，進(jìn)而大幅度提高了植物點(diǎn)云信息的準(zhǔn)確性，最終得到高精度的植物三維模型。并且克服了單相機(jī)采集圖像導(dǎo)致的植物三維重建效率低下以及點(diǎn)云信息單一且精確性較低等問(wèn)題，大幅度提高了植物三維點(diǎn)云信息重建的精確性以及重建效率。

80、（3）本發(fā)明提出一種名為bioneformer3d的網(wǎng)絡(luò)模型，一般網(wǎng)絡(luò)模型中點(diǎn)云特征提取和解碼器部分通常依賴于標(biāo)準(zhǔn)的transformer架構(gòu)。該模型使用的bi-transformerdecoder?layer解碼器提升了網(wǎng)絡(luò)在點(diǎn)云分割任務(wù)上的性能，進(jìn)一步減少了自注意力模塊的計(jì)算量。通過(guò)這種結(jié)合，本方法增強(qiáng)了原始o(jì)neformer3d網(wǎng)絡(luò)在分割植物三維點(diǎn)云時(shí)的上下文感知能力和分割精度，同時(shí)提高了對(duì)難分類樣本的關(guān)注度和整體的分割性能。

81、（4）本研究提出了一種名為rsvdformer的網(wǎng)絡(luò)模型，克服了遮擋問(wèn)題導(dǎo)致的點(diǎn)云不完整的情況。在表型提取方面，由于缺失區(qū)域的詳細(xì)幾何圖形很難恢復(fù)，因此嵌入了多模態(tài)循環(huán)特征融合模塊，通過(guò)多個(gè)模態(tài)信息之間的充分融合，以明確地鼓勵(lì)網(wǎng)絡(luò)更多地關(guān)注缺失的區(qū)域信息。通過(guò)使用rsvdformer點(diǎn)云補(bǔ)全模型，使得遮擋部分如葉片和莖稈部分的點(diǎn)云完整度有了很大提升，進(jìn)一步提高了葉面積和莖寬等表型信息提取準(zhǔn)確性。