本書(shū)系統(tǒng)地介紹了機(jī)器人三維視覺(jué)技術(shù)的基本原理及應(yīng)用。全書(shū)共8章，按照理論基礎(chǔ)-技術(shù)實(shí)現(xiàn)-實(shí)際應(yīng)用的思路展開(kāi)： 基礎(chǔ)理論部分主要介紹機(jī)器人三維視覺(jué)成像與運(yùn)動(dòng)學(xué)方面的基本原理和數(shù)學(xué)基礎(chǔ)；技術(shù)實(shí)現(xiàn)部分主要介紹系統(tǒng)標(biāo)定、路徑規(guī)劃、點(diǎn)云處理、數(shù)據(jù)融合與目標(biāo)檢測(cè)等主流核心技術(shù)；實(shí)際應(yīng)用部分通過(guò)上下料、坡口切割、銑削、質(zhì)量檢測(cè)、導(dǎo)航等具體案例，展示三維視覺(jué)技術(shù)在工業(yè)制造等領(lǐng)域的應(yīng)用。本書(shū)從理論到實(shí)踐，從原理到應(yīng)用，全面介紹了機(jī)器人三維視覺(jué)技術(shù)，確保讀者能夠形成完整的知識(shí)體系。
本書(shū)適合從事機(jī)器人視覺(jué)技術(shù)相關(guān)工作的工程技術(shù)人員和科研人員閱讀，也可作為高等院校機(jī)器人工程、智能制造工程等相關(guān)專(zhuān)業(yè)師生的參考書(shū)。
在科技蓬勃發(fā)展的今天，機(jī)器人技術(shù)猶如一顆璀璨的明星，照亮著人類(lèi)探索未知世界的道路。而在機(jī)器人技術(shù)中，三維視覺(jué)技術(shù)扮演著至關(guān)重要的角色，它賦予了機(jī)器人看世界的能力，讓機(jī)器人能夠更深入地理解并交互我們所處的三維空間。特別是在智能制造領(lǐng)域，機(jī)器人三維視覺(jué)可以推動(dòng)智能化生產(chǎn)，提升機(jī)器人的感知與控制能力，實(shí)現(xiàn)高精度的定位、加工控制與質(zhì)量檢測(cè)等功能，展現(xiàn)了巨大的市場(chǎng)潛力。例如，在上下料工序，利用三維視覺(jué)技術(shù)，機(jī)器人可以對(duì)不規(guī)則擺放的物體進(jìn)行準(zhǔn)確抓取，提高抓取的成功率和效率，這在倉(cāng)儲(chǔ)自動(dòng)化、物流處理等領(lǐng)域具有重要意義。在質(zhì)量控制方面，通過(guò)機(jī)器人三維視覺(jué)技術(shù)對(duì)產(chǎn)品進(jìn)行高效高精度的三維掃描和建模，實(shí)現(xiàn)對(duì)產(chǎn)品質(zhì)量的實(shí)時(shí)監(jiān)控和檢測(cè)，替代煩瑣的人工操作，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。在機(jī)械加工方面，機(jī)器人三維視覺(jué)技術(shù)能夠?qū)崟r(shí)定位工件姿態(tài)，感知和監(jiān)測(cè)加工過(guò)程，通過(guò)獲取的數(shù)據(jù)進(jìn)行分析和處理，為加工流程的優(yōu)化提供指導(dǎo)，從而提升制造質(zhì)量。機(jī)器人的這些優(yōu)勢(shì)將共同推動(dòng)智能制造的發(fā)展，提升制造業(yè)的智能化水平和競(jìng)爭(zhēng)力。
三維視覺(jué)技術(shù)是機(jī)器人感知環(huán)境和實(shí)現(xiàn)復(fù)雜任務(wù)的重要基礎(chǔ)，但機(jī)器人三維視覺(jué)技術(shù)不同于單純的視覺(jué)技術(shù)和機(jī)器人技術(shù)，需要同時(shí)考慮機(jī)器人運(yùn)動(dòng)學(xué)與視覺(jué)成像等多方面的技術(shù)，才能使三維視覺(jué)傳感器和機(jī)器人更好地融合與協(xié)作。例如要實(shí)現(xiàn)汽車(chē)輪轂、電控端蓋等多品種無(wú)序零件的批量質(zhì)量檢測(cè)，進(jìn)行機(jī)器人測(cè)量路徑自動(dòng)規(guī)劃時(shí)，既要考慮機(jī)器人關(guān)節(jié)極限、可達(dá)性、靈巧性、避障等因素，也要考慮三維視覺(jué)傳感器視場(chǎng)角、視角、景深、可視性等因素�；诖耍緯�(shū)從視覺(jué)成像、系統(tǒng)標(biāo)定、路徑規(guī)劃、點(diǎn)云融合、數(shù)據(jù)處理與目標(biāo)檢測(cè)六個(gè)方面展開(kāi)，將機(jī)器人三維視覺(jué)技術(shù)系統(tǒng)化。
全書(shū)共8章，在闡述了機(jī)器人三維技術(shù)基本原理的基礎(chǔ)上，也總結(jié)了筆者團(tuán)隊(duì)多年來(lái)的研究成果、應(yīng)用案例與國(guó)內(nèi)外最新進(jìn)展。第1章介紹了結(jié)構(gòu)光、激光雷達(dá)等工業(yè)上常見(jiàn)的三維視覺(jué)傳感器的成像原理及特點(diǎn)，為讀者在不同應(yīng)用場(chǎng)景選擇傳感器提供技術(shù)參考；第2章介紹了位姿描述和齊次變換、操作臂正逆運(yùn)動(dòng)學(xué)、微分運(yùn)動(dòng)與雅可比矩陣等機(jī)械臂運(yùn)動(dòng)相關(guān)的基礎(chǔ)知識(shí)；第3章介紹了機(jī)器人視覺(jué)系統(tǒng)標(biāo)定技術(shù)，指導(dǎo)如何通過(guò)位姿誤差傳遞建模、辨識(shí)與補(bǔ)償精確獲取傳感器與機(jī)械臂之間的空間位姿；第4章介紹了機(jī)器人測(cè)量路徑規(guī)劃技術(shù)，包含傳感器視點(diǎn)規(guī)劃和機(jī)械臂運(yùn)動(dòng)路徑技術(shù)，以實(shí)現(xiàn)測(cè)量數(shù)據(jù)獲取的全面性、準(zhǔn)確性或效率等目標(biāo)；第5章介紹了多視角點(diǎn)云融合技術(shù)，以此將來(lái)自不同視角或不同時(shí)間點(diǎn)的點(diǎn)云數(shù)據(jù)進(jìn)行精確對(duì)齊，重建出物體的完整三維模型；第6章介紹了精簡(jiǎn)、去噪光順等點(diǎn)云處理技術(shù)；第7章從點(diǎn)、圖像、點(diǎn)-圖像三個(gè)角度介紹了常見(jiàn)的三維目標(biāo)檢測(cè)技術(shù)。第8章介紹了視覺(jué)引導(dǎo)的機(jī)器人上下料、坡口切割、銑削切邊、質(zhì)量檢測(cè)、導(dǎo)航建圖等應(yīng)用案例。
本書(shū)第1章由鐘富強(qiáng)撰寫(xiě)，第2、3章由王剛撰寫(xiě)，第4、5章由彭偉星撰寫(xiě)，第6、7 章由謝核撰寫(xiě)，第8章由謝核、王剛、鐘富強(qiáng)等共同撰寫(xiě)。
本書(shū)內(nèi)容的研究得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目智能機(jī)器人專(zhuān)項(xiàng)(多機(jī)器人協(xié)同制造中的自主智能與群智涌現(xiàn)，2023YFB4704800)、國(guó)家自然科學(xué)基金重大項(xiàng)目(面向重大裝備制造的集群機(jī)器人協(xié)同控制基礎(chǔ)理論與關(guān)鍵技術(shù)研究，62293512)等項(xiàng)目的資助。
機(jī)器人視覺(jué)技術(shù)發(fā)展日新月異，很多理論與應(yīng)用問(wèn)題還有待進(jìn)一步深入研究，由于筆者學(xué)識(shí)有限，書(shū)中還有許多不足之處，敬請(qǐng)讀者和專(zhuān)家批評(píng)指正。
編著者
第1章機(jī)器人三維視覺(jué)成像技術(shù) 001
1.1立體視覺(jué)技術(shù) 002
1.1.1系統(tǒng)標(biāo)定 002
1.1.2立體匹配 004
1.1.3三維點(diǎn)重建 006
1.2結(jié)構(gòu)光技術(shù) 007
1.2.1基于相移法的結(jié)構(gòu)光技術(shù) 007
1.2.2基于格雷碼法的結(jié)構(gòu)光技術(shù) 010
1.2.3基于散斑法的結(jié)構(gòu)光技術(shù) 014
1.3線激光掃描三維成像技術(shù) 015
1.3.1系統(tǒng)的標(biāo)定 016
1.3.2激光輪廓中心線的提取 018
1.4激光雷達(dá)三維成像技術(shù) 019
1.4.1直接脈沖飛行時(shí)間測(cè)量法 019
1.4.2幅度調(diào)制連續(xù)波測(cè)量法 020
1.4.3頻率調(diào)制連續(xù)波測(cè)量法 021
1.4.4激光雷達(dá)的掃描方式 021
1.53D 點(diǎn)云和2D 圖像的融合成像技術(shù) 022
參考文獻(xiàn) 024
第2章操作臂運(yùn)動(dòng)學(xué) 026
2.1位姿描述和齊次變換 026
2.1.1位姿描述 027
2.1.2齊次變換 029
2.1.3歐拉角與旋轉(zhuǎn)變換 029
2.2操作臂正運(yùn)動(dòng)學(xué) 032
2.2.1連桿參數(shù) 032
2.2.2連桿變換 033
2.2.3操作臂正運(yùn)動(dòng)學(xué)方程 035
2.3操作臂逆運(yùn)動(dòng)學(xué) 038
2.3.1幾何解法 039
2.3.2代數(shù)解法 039
2.4操作臂的速度雅可比矩陣與微分運(yùn)動(dòng) 043
2.4.1雅可比矩陣 043
2.4.2速度雅可比矩陣 045
2.4.3伴隨矩陣 047
2.4.4微分運(yùn)動(dòng) 049
2.5剛體運(yùn)動(dòng)的四元數(shù)表達(dá) 052
2.5.1剛體運(yùn)動(dòng) 052
2.5.2雙四元數(shù) 054
2.6本章小結(jié) 055
參考文獻(xiàn) 055
第3章機(jī)器人視覺(jué)系統(tǒng)標(biāo)定與誤差補(bǔ)償 057
3.1單機(jī)器人測(cè)量-作業(yè)系統(tǒng)的誤差傳遞建模 057
3.1.1作業(yè)系統(tǒng)運(yùn)動(dòng)鏈構(gòu)建 058
3.1.2曲面作業(yè)誤差定義 059
3.1.3運(yùn)動(dòng)學(xué)誤差模型 061
3.1.4關(guān)節(jié)剛度誤差模型 062
3.1.5工件/工具誤差傳遞模型 064
3.2機(jī)器人手眼標(biāo)定 065
3.2.1標(biāo)定物坐標(biāo)系建立 066
3.2.2目標(biāo)函數(shù)為AX＝XB 的手眼標(biāo)定 067
3.2.3目標(biāo)函數(shù)為AX＝Y(jié)B 的手眼標(biāo)定 069
3.3單機(jī)器人系統(tǒng)運(yùn)動(dòng)學(xué)誤差辨識(shí)與補(bǔ)償 071
3.3.1機(jī)器人運(yùn)動(dòng)學(xué)誤差以及手眼誤差建模 071
3.3.2運(yùn)動(dòng)學(xué)誤差與手眼誤差辨識(shí) 074
3.3.3非標(biāo)準(zhǔn)旋轉(zhuǎn)矩陣最佳正交化計(jì)算 075
3.4雙機(jī)器人測(cè)量系統(tǒng)同步標(biāo)定 077
3.4.1雙機(jī)器人測(cè)量-作業(yè)系統(tǒng)標(biāo)定模型建立 077
3.4.2姿態(tài)轉(zhuǎn)換矩陣求解封閉式同步求解方法 078
3.4.3姿態(tài)轉(zhuǎn)換矩陣求解數(shù)值迭代求解方法 082
3.5雙機(jī)器人系統(tǒng)誤差辨識(shí)與補(bǔ)償 086
3.5.1誤差源分析建模 086
3.5.2誤差辨識(shí)與推導(dǎo) 087
3.5.3位姿誤差補(bǔ)償模型 088
3.6本章小結(jié) 091
參考文獻(xiàn) 091
第4章機(jī)器人測(cè)量路徑規(guī)劃 092
4.1測(cè)量掃描儀可視錐模型 092
4.1.1球籠型三維掃描儀可視錐模型 092
4.1.2三維面結(jié)構(gòu)光掃描儀可視錐模型 093
4.2基于先驗(yàn)?zāi)Ｐ偷囊朁c(diǎn)規(guī)劃 095
4.2.1基于先驗(yàn)?zāi)Ｐ捅砻娌蓸优c候選視點(diǎn)集的生成 095
4.2.2候選視點(diǎn)評(píng)估 097
4.3無(wú)模型視點(diǎn)規(guī)劃 098
4.3.1基于體素模型效益函數(shù)的視點(diǎn)規(guī)劃 098
4.3.2基于體素信息增益度量的視點(diǎn)規(guī)劃 100
4.3.3基于曲面邊界的視點(diǎn)規(guī)劃 104
4.4機(jī)器學(xué)習(xí)視點(diǎn)規(guī)劃 106
4.4.1基于深度學(xué)習(xí)的視點(diǎn)規(guī)劃方法 106
4.4.2基于深度強(qiáng)化學(xué)習(xí)的視點(diǎn)規(guī)劃方法 110
4.5測(cè)量路徑規(guī)劃模型 115
4.5.1基于捕食者-獵物的面陣掃描儀覆蓋路徑規(guī)劃方法 115
4.5.2基于蟻群算法的面陣掃描儀覆蓋路徑規(guī)劃方法 117
4.6本章小結(jié) 118
參考文獻(xiàn) 118
第5章多視角點(diǎn)云配準(zhǔn) 120
5.1點(diǎn)云及配準(zhǔn)的基本概念 120
5.1.1點(diǎn)云數(shù)據(jù)采集 120
5.1.2點(diǎn)云配準(zhǔn)概述 121
5.2全局粗配準(zhǔn) 123
5.2.1點(diǎn)云特征提取 123
5.2.2點(diǎn)云特征匹配及位姿解算 126
5.3基于迭代最近點(diǎn)（ICP）的點(diǎn)云配準(zhǔn) 127
5.3.1點(diǎn)云配準(zhǔn)數(shù)學(xué)基礎(chǔ) 127
5.3.2ICP 129
5.3.3點(diǎn)面ICP 130
5.3.4GICP 131
5.3.5VGICP 134
5.4基于神經(jīng)網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn) 136
5.4.1點(diǎn)云特征提取網(wǎng)絡(luò) 137
5.4.2點(diǎn)云配準(zhǔn)網(wǎng)絡(luò) 139
5.5多視角點(diǎn)云配準(zhǔn) 145
5.5.1問(wèn)題定義 145
5.5.2基于成對(duì)點(diǎn)云配準(zhǔn)的多視角點(diǎn)云配準(zhǔn) 145
5.5.3基于概率模型的多視角點(diǎn)云配準(zhǔn) 146
5.5.4基于深度學(xué)習(xí)的多視角點(diǎn)云配準(zhǔn) 149
5.6本章小結(jié) 153
參考文獻(xiàn) 153
第6章三維點(diǎn)云數(shù)據(jù)處理 155
6.1點(diǎn)云精簡(jiǎn)與點(diǎn)云下采樣 155
6.1.1概述 155
6.1.2隨機(jī)下采樣 156
6.1.3體素下采樣 157
6.1.4均勻下采樣 159
6.1.5曲率下采樣 161
6.2點(diǎn)云光順與點(diǎn)云去噪 163
6.2.1概述 163
6.2.2點(diǎn)云半徑濾波 165
6.2.3點(diǎn)云統(tǒng)計(jì)濾波 167
6.2.4局部異常因子LOF 168
6.2.5聚類(lèi)法點(diǎn)云去噪 170
6.2.6點(diǎn)云平滑濾波 172
6.2.7點(diǎn)云拉普拉斯濾波 174
6.2.8點(diǎn)云雙邊濾波 175
6.2.9基于移動(dòng)最小二乘的點(diǎn)云光順 178
6.2.10RIMLS 179
6.3本章小結(jié) 182
參考文獻(xiàn) 182
第7章三維目標(biāo)檢測(cè) 184
7.1基于點(diǎn)云的三維目標(biāo)檢測(cè)方法 185
7.1.1基于點(diǎn)的三維目標(biāo)檢測(cè)方法 186
7.1.2基于網(wǎng)格的三維目標(biāo)檢測(cè)方法 197
7.1.3基于點(diǎn)-體素融合的三維目標(biāo)檢測(cè)方法 205
7.2基于圖像的三維目標(biāo)檢測(cè)方法 209
7.2.1基于單目圖像的三維目標(biāo)檢測(cè)方法 210
7.2.2基于多視圖的三維目標(biāo)檢測(cè)方法 216
7.3基于點(diǎn)云-圖像多模態(tài)融合的三維目標(biāo)檢測(cè)方法 221
7.3.1前期融合 222
7.3.2特征融合 224
7.3.3后期融合 228
7.4本章小結(jié) 230
參考文獻(xiàn) 231
第8章應(yīng)用實(shí)例介紹 234
8.1視覺(jué)引導(dǎo)的機(jī)器人上下料 234
8.1.1硬件組成及系統(tǒng)標(biāo)定 234
8.1.2視覺(jué)定位 235
8.1.3機(jī)器人抓取路徑規(guī)劃 239
8.2視覺(jué)引導(dǎo)的機(jī)器人等離子坡口切割 241
8.2.1視覺(jué)引導(dǎo)的機(jī)器人坡口系統(tǒng)設(shè)計(jì) 242
8.2.2機(jī)器人坡口系統(tǒng)關(guān)鍵幾何參數(shù)整體優(yōu)化 243
8.2.3基于坡口特征精確識(shí)別的機(jī)器人切割路徑補(bǔ)償 246
8.2.4機(jī)器人高精度坡口尋位軟件開(kāi)發(fā)與應(yīng)用 250
8.3大型薄壁蒙皮機(jī)器人銑削切邊 253
8.3.1蒙皮加工關(guān)鍵技術(shù) 253
8.3.2刀具軌跡生成與光順優(yōu)化 253
8.3.3多約束下機(jī)器人姿態(tài)優(yōu)化 258
8.3.4蒙皮銑削加工案例 262
8.4航空葉片機(jī)器人三維視覺(jué)檢測(cè) 263
8.4.1機(jī)器人測(cè)量系統(tǒng)手眼標(biāo)定 264
8.4.2機(jī)器人測(cè)量位姿規(guī)劃 265
8.4.3航空葉片截面特征參數(shù)提取 267
8.4.4航空葉片截面特征參數(shù)軟件 270
8.5移動(dòng)機(jī)器人雙目視覺(jué)慣性SLAM 272
8.5.1數(shù)據(jù)預(yù)處理 273
8.5.2初始化 275
8.5.3基于滑動(dòng)窗口的局部BA 優(yōu)化 276
8.5.4回環(huán)檢測(cè) 278
8.5.5實(shí)驗(yàn)驗(yàn)證 278
參考文獻(xiàn) 280
書(shū)單推薦
