所公開的實施例總體上涉及駕駛員監(jiān)視系統(tǒng)。
背景技術(shù):
1、諸如自主車輛的車輛可以包括駕駛員監(jiān)視系統(tǒng),該駕駛員監(jiān)視系統(tǒng)尤其可以增強駕駛員的體驗和/或車輛的車廂內(nèi)的安全性。在各種示例中,這些駕駛員監(jiān)視系統(tǒng)可以包括位于車輛的車廂內(nèi)的單個單目攝像頭,以監(jiān)視駕駛員并實施可以增強車輛的車廂內(nèi)的駕駛員體驗和/或安全性的各種操作。然而,在此類示例中,駕駛員監(jiān)視系統(tǒng)可以從由單個單目攝像頭捕獲的二維圖像導(dǎo)出或確定的特征和見解可能是缺乏的并且不準確的。因而,駕駛員在車輛的車廂內(nèi)的體驗和/或安全可能受到負面影響。
技術(shù)實現(xiàn)思路
1、根據(jù)一個方面,一種裝置可以包括存儲指令的非暫時性機器可讀存儲介質(zhì)以及耦合到該非暫時性機器可讀存儲介質(zhì)的至少一個處理器。該至少一個處理器可以被配置為獲得第一數(shù)據(jù)集,該第一數(shù)據(jù)集指示用戶的頭部在由第一設(shè)備生成的第一組圖像中的每一者中的第一頭部姿勢估計,并且獲得第二數(shù)據(jù)集,該第二數(shù)據(jù)集指示該用戶的頭部在由該裝置的第一傳感器生成的一組圖像中的每一者中的第二頭部姿勢估計。在一些示例中,該第一數(shù)據(jù)集是基于該第一設(shè)備的一組傳感器的傳感器數(shù)據(jù)。另外,該至少一個處理器可以被配置為基于第一數(shù)據(jù)集和第二數(shù)據(jù)集生成融合數(shù)據(jù)集,并且基于融合數(shù)據(jù)集確定用戶的頭部的第三頭部姿勢估計。此外,該至少一個處理器可以被配置為輸出第三頭部姿勢估計。
2、根據(jù)另一方面,一種存儲指令的非暫時性機器可讀存儲介質(zhì),該指令在由服務(wù)器的至少一個處理器執(zhí)行時使該至少一個處理器執(zhí)行包括以下步驟的操作:獲得第一數(shù)據(jù)集,該第一數(shù)據(jù)集指示用戶的頭部在由第一設(shè)備生成的第一組圖像中的每一者中的第一頭部姿勢估計,以及獲得第二數(shù)據(jù)集,該第二數(shù)據(jù)集指示該用戶的頭部在由該裝置的第一傳感器生成的一組圖像中的每一者中的第二頭部姿勢估計。在一些示例中,該第一數(shù)據(jù)集是基于該第一設(shè)備的一組傳感器的傳感器數(shù)據(jù)。另外,該操作可以包括基于第一數(shù)據(jù)集和第二數(shù)據(jù)集生成融合數(shù)據(jù)集,以及基于融合數(shù)據(jù)集確定用戶的頭部的第三頭部姿勢估計。此外,該操作可以包括輸出第三頭部姿勢估計。
3、根據(jù)另一方面,一種計算機實施方法可以包括:獲得第一數(shù)據(jù)集,該第一數(shù)據(jù)集指示用戶的頭部在由第一設(shè)備生成的第一組圖像中的每一者中的第一頭部姿勢估計,以及獲得第二數(shù)據(jù)集,該第二數(shù)據(jù)集指示該用戶的頭部在由該裝置的第一傳感器生成的一組圖像中的每一者中的第二頭部姿勢估計。在一些示例中,該第一數(shù)據(jù)集是基于該第一設(shè)備的一組傳感器的傳感器數(shù)據(jù)。另外,該計算機實施方法可以包括基于第一數(shù)據(jù)集和第二數(shù)據(jù)集生成融合數(shù)據(jù)集,以及基于融合數(shù)據(jù)集確定用戶的頭部的第三頭部姿勢估計。此外,該計算機實施方法可以包括輸出第三頭部姿勢估計。
4、應(yīng)當理解,前述一般描述及以下詳細描述兩者均僅為示例性和解釋性的,并且不會如所要求那樣限制本發(fā)明。此外,并入本說明書并構(gòu)成本說明書的一部分的附圖示出了本公開的各方面,并且與說明書一起用于解釋如所附權(quán)利要求中闡述的所公開的實施例的原理。
1.一種裝置,包括:
2.根據(jù)權(quán)利要求1所述的裝置,其中所述第一數(shù)據(jù)集是基于將第一經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程應(yīng)用于所述第一設(shè)備的所述一組傳感器的傳感器數(shù)據(jù)而生成的。
3.根據(jù)權(quán)利要求2所述的裝置,其中所述第一經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程是同時定位與建圖(slam)算法。
4.根據(jù)權(quán)利要求1所述的裝置,其中所述第一設(shè)備是包括所述一組傳感器的頭戴式顯示(hmd)設(shè)備,并且其中所述至少一個處理器還被配置為:
5.根據(jù)權(quán)利要求1所述的裝置,其中所述至少一個處理器還被配置為:
6.根據(jù)權(quán)利要求1所述的裝置,其中所述第一設(shè)備是包括所述一組傳感器的hmd設(shè)備,并且其中所述至少一個處理器還被配置為:
7.根據(jù)權(quán)利要求6所述的裝置,其中所述第一數(shù)據(jù)集是基于將第一經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程應(yīng)用于所述一組傳感器的傳感器數(shù)據(jù)而生成的。
8.根據(jù)權(quán)利要求1所述的裝置,其中所述第二數(shù)據(jù)集是基于將第二經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程應(yīng)用于由所述裝置的第一傳感器生成的所述一組圖像而生成的。
9.根據(jù)權(quán)利要求8所述的裝置,其中所述第二經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程是三維形變模型(3dmm)。
10.根據(jù)權(quán)利要求1所述的裝置,其中所述一組傳感器包括光學(xué)傳感器、陀螺儀傳感器和慣性測量單元中的至少一者。
11.根據(jù)權(quán)利要求1所述的裝置,其中所述第一傳感器是光學(xué)傳感器。
12.根據(jù)權(quán)利要求1所述的裝置,其中生成所述融合數(shù)據(jù)集包括將擴展卡爾曼濾波器(ekf)應(yīng)用于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集。
13.根據(jù)權(quán)利要求1所述的裝置,其中輸出所述第三頭部姿勢估計包括:
14.根據(jù)權(quán)利要求1所述的裝置,其中輸出所述第三頭部姿勢估計包括響應(yīng)于對所述用戶的頭部的第三頭部姿勢估計的確定來確定用于顯示器的內(nèi)容。
15.根據(jù)權(quán)利要求14所述的裝置,其中確定用于所述顯示器的內(nèi)容包括確定所述裝置的與所述用戶的頭部的第三頭部姿勢估計相關(guān)聯(lián)的子系統(tǒng)的內(nèi)容并且在所述顯示器上呈現(xiàn)確定的內(nèi)容。
16.根據(jù)權(quán)利要求15所述的裝置,其中所述第一設(shè)備包括所述顯示器,并且其中在所述顯示器上呈現(xiàn)所述確定的內(nèi)容包括與所述第一設(shè)備進行通信以使所述第一設(shè)備在所述第一設(shè)備的顯示器上呈現(xiàn)所述確定的內(nèi)容。
17.根據(jù)權(quán)利要求15所述的裝置,其中所述裝置還包括所述顯示器,并且其中在所述顯示器上呈現(xiàn)所述確定的內(nèi)容包括與所述第一設(shè)備進行通信以使所述第一設(shè)備在所述第一設(shè)備的顯示器上呈現(xiàn)所述確定的內(nèi)容。
18.根據(jù)權(quán)利要求17所述的裝置,其中所述顯示器是抬頭顯示器(hud)。
19.一種存儲指令的非暫時性機器可讀存儲介質(zhì),所述指令在由服務(wù)器的至少一個處理器執(zhí)行時使所述至少一個處理器執(zhí)行包括以下步驟的操作:
20.一種由在車輛的至少一個處理器上執(zhí)行的應(yīng)用程序執(zhí)行的計算機實施方法,所述計算機實施方法包括:
21.根據(jù)權(quán)利要求20所述的計算機實施方法,其中所述第一數(shù)據(jù)集是基于將第一經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程應(yīng)用于所述第一設(shè)備的所述一組傳感器的傳感器數(shù)據(jù)而生成的。
22.根據(jù)權(quán)利要求21所述的計算機實施方法,其中所述第一經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程是同時定位與建圖(slam)算法。
23.根據(jù)權(quán)利要求20所述的計算機實施方法,其中所述第一設(shè)備是包括所述一組傳感器的hmd設(shè)備,并且其中所述計算機實施方法還包括:
24.根據(jù)權(quán)利要求20所述的計算機實施方法,其中所述計算機實施方法還包括:
25.根據(jù)權(quán)利要求20所述的計算機實施方法,其中所述第一設(shè)備是包括所述一組傳感器的hmd設(shè)備,并且其中所述計算機實施方法還包括:
26.根據(jù)權(quán)利要求25,1所述的計算機實施方法
27.根據(jù)權(quán)利要求20所述的計算機實施方法,其中生成所述融合數(shù)據(jù)集包括將擴展卡爾曼濾波器(ekf)應(yīng)用于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集。
28.根據(jù)權(quán)利要求20所述的計算機實施方法,其中輸出所述第三頭部姿勢估計包括:
29.根據(jù)權(quán)利要求20所述的計算機實施方法,其中輸出所述第三頭部姿勢估計包括:
30.根據(jù)權(quán)利要求20所述的計算機實施方法,其中所述第二數(shù)據(jù)集是基于將第二經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程應(yīng)用于由裝置的第一傳感器生成的所述一組圖像而生成的,并且其中所述第二經(jīng)過訓(xùn)練的機器學(xué)習(xí)過程是三維形變模型(3dmm)。