本發(fā)明涉及噸袋理貨，具體為一種基于單目視覺和repulsion損失增強的噸袋理貨方法。
背景技術(shù)：
1、智慧港口是港口領(lǐng)域未來發(fā)展的重要趨勢，通過應(yīng)用大數(shù)據(jù)、云計算、人工智能等技術(shù)，進行數(shù)據(jù)采集、分析和傳輸，對港口的運輸、裝卸、儲藏、包裝等關(guān)鍵環(huán)節(jié)進行智能化管理，提高了物流效率，進而提高了港口的運營效率，對于港口效益提升有重要意義；
2、目前港口暫無無噸袋智能理貨相應(yīng)的技術(shù)研究，噸袋理貨采用人工記錄測量和第三方數(shù)據(jù)相結(jié)合的工作方式，人工測量的方式是通過稱重十袋散貨的重量，取得均值后清點噸袋個數(shù)，算的總重量，同時每天的庫存和作業(yè)計劃由理貨員進行安排跟蹤，各個門機的噸袋裝卸數(shù)量由各個門機自己負(fù)責(zé)，整體效率偏低，且無法實時獲取噸袋作業(yè)數(shù)量；
3、鑒于此，針對上述問題，深入研究，遂提出一種基于單目視覺和repulsion損失增強的噸袋理貨方法以建立一整套自動化噸袋理貨算法流程，實現(xiàn)實時噸袋作業(yè)數(shù)量計算。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于單目視覺和repulsion損失增強的噸袋理貨方法，以解決上述背景技術(shù)中提出現(xiàn)有的噸袋理貨采用人工記錄測量和第三方數(shù)據(jù)相結(jié)合的工作方式，整體效率偏低，且無法實時獲取噸袋作業(yè)數(shù)量的問題。
2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于單目視覺和repulsion損失增強的噸袋理貨方法，包括以下步驟：
3、步驟a：將門機進行啟動；
4、步驟b：使用攝像頭獲取視頻流；
5、步驟c：對門機的狀態(tài)進行判斷，判斷出門機靜止或移動；
6、步驟d：實時計算門機勾數(shù)；
7、步驟e：判斷門機移動時進行噸袋數(shù)量檢測；
8、步驟f：將勾數(shù)計算結(jié)果和噸袋數(shù)量檢測結(jié)果結(jié)合分析，送到生產(chǎn)一體化系統(tǒng)；
9、步驟g：結(jié)束；
10、所述步驟c中采用幀間差分法以及特征匹配法兩種算法對門機的狀態(tài)進行判斷；
11、所述步驟e中通過yolov5算法中引入了repulsion?loss損失函數(shù)進行噸袋數(shù)量檢測。
12、作為本發(fā)明的優(yōu)選技術(shù)方案，所述幀間差分法是獲取當(dāng)前幀與前一幀的圖像，通過做差的方式得到兩幀亮度差的絕對值，依據(jù)絕對值之和大小判斷兩幀圖像的差異程度，絕對值之和越大代表圖像差異越大，絕對值之和越小代表圖像差異越小。
13、作為本發(fā)明的優(yōu)選技術(shù)方案，所述幀間差分法具體流程為：首先獲取前后兩幀圖像，將圖片向下采樣到(80，45，3)，并轉(zhuǎn)為灰度圖，設(shè)置(21，21)大小的高斯模糊，進一步降低環(huán)境噪聲，圖像保持在能夠看清紋理，隨后將兩幅圖相減，采用二值化處理，像素差大于25為黑色，其他為白色，最后對圖像進行形態(tài)學(xué)腐蝕操作，獲得最終變化區(qū)域，通過獲得的圖像判斷環(huán)境變化程度。
14、作為本發(fā)明的優(yōu)選技術(shù)方案，所述特征匹配法通過選定一種或多種特征描述子，提取兩幅圖像上的特征點作為共軛實體，使用一定的匹配方法，找到兩幅圖像共同點。
15、作為本發(fā)明的優(yōu)選技術(shù)方案，所述匹配方法為暴力匹配法、交叉匹配法、knn匹配法其中的一種。
16、作為本發(fā)明的優(yōu)選技術(shù)方案，所述特征匹配法具體流程為：獲取當(dāng)前幀與上一幀的圖像，經(jīng)過轉(zhuǎn)灰度圖后，獲取尺度金字塔，對尺度金字塔圖像進行fast角點檢測特征提取得到特征點，對特征點進行brief、streer?brief特征描述，獲取描述子，最后使用一定的匹配方法進行特征匹配，通過比較配對成功的個數(shù)判斷兩張圖片的相似度。
17、作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟e中在門機移動過程中選擇靠近中間時間進行圖片抓取，并抓取三次進行識別。
18、作為本發(fā)明的優(yōu)選技術(shù)方案，所述yolov5算法由輸入部分、主干網(wǎng)絡(luò)、頸部、檢測頭四部分組成，輸入部分是網(wǎng)絡(luò)的開始，獲取圖像后resize成(640，640，3)尺寸大小送到主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)是網(wǎng)絡(luò)的主要特征提取部分，通過搭建多層conv模塊、c3模塊以及sppf模塊對圖像進行特征提取，提取不同層次的圖像特征，輸出(80，80，256)、(40，40，512)、(20，20，1024)三個不同尺寸的特征圖，頸部將主干網(wǎng)絡(luò)串聯(lián)輸入的特征圖拼接在一起，構(gòu)建模型金字塔，結(jié)合模型的深層特征以及淺層特征，提高模型的檢測精度，檢測頭是模型輸出部分，由三個1*1的卷積構(gòu)成，將頸部輸出的特征圖轉(zhuǎn)為對應(yīng)網(wǎng)格大小的物體位置信息、類別信息以及置信度。
19、作為本發(fā)明的優(yōu)選技術(shù)方案，所述repulsion?loss損失函數(shù)計算公式為：
20、l＝lattr+a*lrepgt+β*lrepbox
21、lattr是為了預(yù)測框更接近真實框，lrep是為了讓預(yù)測框遠離周圍的真實框，參數(shù)α和β用于平衡兩者的權(quán)重，設(shè)p(lp,tp,wp,hp)為候選框，g(lg,tg,wg,hg)為真實框，p+為正候選框集合，正候選框是至少與其中一個真實框的iou大于某個閾值，這里是0.5g＝{g}是真實框集合；
22、lattr計算公式為：
23、
24、p∈p+(所有的正樣本)是根據(jù)設(shè)定的iou閾值來劃分出來的檢測框p的集合；gpattr為每一個檢測框p匹配一個有最大iou值的真實目標(biāo)框；bp為從檢測框p做回歸偏移后得到的預(yù)測框；
25、lrepgt計算公式為：
26、
27、為了增大預(yù)測框和真實框交集而不是并集，此處采用iog計算方式，同時采用smoothln做平滑函數(shù)，既保留了l1的魯棒性又吸收l2的快速收斂性；
28、lrepbox計算公式為：
29、
30、其中分母的‖是identity函數(shù)，即y＝x。
31、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：該基于單目視覺和repulsion損失增強的噸袋理貨方法整個算法流程使用單個相機，減少了門機新增硬件的成本費用，做到了生產(chǎn)數(shù)據(jù)的實時展示，保證了生產(chǎn)過程的透明化，提高了生產(chǎn)過程的可控性，優(yōu)化了幀間差分法和特征匹配法兩種算法的性能參數(shù)，提高了算法魯棒性，可以適應(yīng)各種復(fù)雜工況下的需求，精度達到96％，同時優(yōu)化了yolov5算法的損失函數(shù)，提高了算法的檢測精度。
1.一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述幀間差分法是獲取當(dāng)前幀與前一幀的圖像，通過做差的方式得到兩幀亮度差的絕對值，依據(jù)絕對值之和大小判斷兩幀圖像的差異程度，絕對值之和越大代表圖像差異越大，絕對值之和越小代表圖像差異越小。
3.根據(jù)權(quán)利要求2所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述幀間差分法具體流程為：首先獲取前后兩幀圖像，將圖片向下采樣到(80，45，3)，并轉(zhuǎn)為灰度圖，設(shè)置(21，21)大小的高斯模糊，進一步降低環(huán)境噪聲，圖像保持在能夠看清紋理，隨后將兩幅圖相減，采用二值化處理，像素差大于25為黑色，其他為白色，最后對圖像進行形態(tài)學(xué)腐蝕操作，獲得最終變化區(qū)域，通過獲得的圖像判斷環(huán)境變化程度。
4.根據(jù)權(quán)利要求1所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述特征匹配法通過選定一種或多種特征描述子，提取兩幅圖像上的特征點作為共軛實體，使用一定的匹配方法，找到兩幅圖像共同點。
5.根據(jù)權(quán)利要求4所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述匹配方法為暴力匹配法、交叉匹配法、knn匹配法其中的一種。
6.根據(jù)權(quán)利要求4所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述特征匹配法具體流程為：獲取當(dāng)前幀與上一幀的圖像，經(jīng)過轉(zhuǎn)灰度圖后，獲取尺度金字塔，對尺度金字塔圖像進行fast角點檢測特征提取得到特征點，對特征點進行brief、streer?brief特征描述，獲取描述子，最后使用一定的匹配方法進行特征匹配，通過比較配對成功的個數(shù)判斷兩張圖片的相似度。
7.根據(jù)權(quán)利要求1所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述步驟e中在門機移動過程中選擇靠近中間時間進行圖片抓取，并抓取三次進行識別。
8.根據(jù)權(quán)利要求1所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述yolov5算法由輸入部分、主干網(wǎng)絡(luò)、頸部、檢測頭四部分組成，輸入部分是網(wǎng)絡(luò)的開始，獲取圖像后resize成(640，640，3)尺寸大小送到主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)是網(wǎng)絡(luò)的主要特征提取部分，通過搭建多層conv模塊、c3模塊以及sppf模塊對圖像進行特征提取，提取不同層次的圖像特征，輸出(80，80，256)、(40，40，512)、(20，20，1024)三個不同尺寸的特征圖，頸部將主干網(wǎng)絡(luò)串聯(lián)輸入的特征圖拼接在一起，構(gòu)建模型金字塔，結(jié)合模型的深層特征以及淺層特征，提高模型的檢測精度，檢測頭是模型輸出部分，由三個1*1的卷積構(gòu)成，將頸部輸出的特征圖轉(zhuǎn)為對應(yīng)網(wǎng)格大小的物體位置信息、類別信息以及置信度。
9.根據(jù)權(quán)利要求1所述的一種基于單目視覺和repulsion損失增強的噸袋理貨方法，其特征在于，所述repulsion?loss損失函數(shù)計算公式為：