教學優勢
曙海教育的課程培養了大批受企業歡迎的工程師。大批企業和曙海
建立了良好的合作關系。曙海教育的課程在業內有著響亮的知名度。
本課程,秉承19年積累的教學品質,以項目實現為導向,老師將會與您分享設計的全流程以及工具的綜合使用經驗、技巧。
課程目標:
自動駕駛計算機視覺培訓課程
課程大綱:
課程大綱
自動駕駛計算機視覺培訓課程
Camera在自動駕駛中的感知和定位功能中發揮著重要的作用,本課程從自動駕駛的產品功能需求和計算機視覺技術出發,系統地、簡明扼要地說明如何利用camera傳感器通過計算機視覺、深度學習等技術實現自動駕駛的重要功能。
一、簡介
1、自動駕駛的應用:不同應用場景(L2+或L3乘用車、robotaxi、robobus、干線物流、快遞、礦區碼頭等封閉場景)對自動駕駛功能的需求
2、自動駕駛的系統:自動駕駛的軟、硬件系統,背后的云服務、數據服務等
3、自動駕駛的技術棧:感知、定位、地圖、PnC等,以及每個技術方向依賴的基礎技術如:成像投影原理、特征提取、圖像匹配、目標檢測、深度估計、全景分割、深度學習、數據閉環等。
4、QA&交流&后續安排(30min)
二、關鍵技術講解
1、視覺感知
1.1目標檢測:最重要的任務之一,模型結構、訓練策略、監督信號等;QA(20min)
1.2目標跟蹤:預測、匹配、相似度計算;QA(10min)
1.3圖像分割:以車道線檢測為例講解模型設計;QA(10min)
1.4 其他任務:紅綠燈檢測、標志標牌識別、深度估計等
2、視覺定位
2.1相機標定:成像原理說明真實世界與圖像平面的關系
2.2特征提取:各種算子(SIFT、ORB)從圖像中提取關鍵角點信息進行匹配
2.3參數估計:從匹配的角點計算投影關系,如圖優化等
2.4 QA(10min)
三、工程化落地與工具鏈建設
1 Cyber/Ros簡介:機器人基礎運行架構
2深度學習模型部署:剪枝、量化、tensorrt、cuda等模型實時運行技術
3 深度學習模型研發閉環
3.1 數據閉環鏈路:所有跑車數據可落盤、可回盤、有標記、可查詢
3.2 數據挖掘&數據標注:尋找有價值的數據
3.3 case分析、可視化:可視化并分析、定位問題
4 仿真刷庫:積累足夠的case,驗證迭代過程中是否帶來其他負面影響
?