機(jī)器人視覺(jué)系統(tǒng)分為哪幾種，主要包括哪些關(guān)鍵技術(shù)？

時(shí)間：2023-07-17

機(jī)器人視覺(jué)系統(tǒng)是指利用計(jì)算機(jī)實(shí)現(xiàn)人類(lèi)視覺(jué)功能，即利用計(jì)算機(jī)實(shí)現(xiàn)對(duì)客觀三維世界的識(shí)別。70%以上的人類(lèi)接收的信息來(lái)自視覺(jué)。人類(lèi)視覺(jué)為人類(lèi)提供了周?chē)h(huán)境 最詳細(xì)可靠的信息。

人類(lèi)視覺(jué)的強(qiáng)大功能和完美的信息處理方法引起了智能研究人員的極大興趣。人們希望在生物視覺(jué)的基礎(chǔ)上研究機(jī)器人中使用的人工視覺(jué)系統(tǒng)，并希望機(jī)器人具有類(lèi)似于人類(lèi)感受環(huán)境的能力。機(jī)器人依靠各種傳感器來(lái)感知外部世界的信息。就像人類(lèi)一樣，視覺(jué)系統(tǒng)為大多數(shù)機(jī)器人提供了機(jī)器人所需的外部階段 界信息。因此，視覺(jué)系統(tǒng)在機(jī)器人技術(shù)中起著重要的作用。

根據(jù)視覺(jué)傳感器的數(shù)量和特點(diǎn)，主流的移動(dòng)機(jī)器人視覺(jué)系統(tǒng)包括單目視覺(jué)、雙目立體視覺(jué)、多目視覺(jué)和全景視覺(jué)。

單目視覺(jué)，單目視覺(jué)系統(tǒng)只使用一個(gè)視覺(jué)傳感器。在成像過(guò)程中，單目視覺(jué)系統(tǒng)從三維客觀世界投影到ND圖像，從而失去了深度信息，這是這種視覺(jué)系統(tǒng)的主要缺點(diǎn)( 然而，由于結(jié)構(gòu)簡(jiǎn)單、算法成熟、計(jì)算量小，單目視覺(jué)系統(tǒng)已廣泛應(yīng)用于自主移動(dòng)機(jī)器人，如目標(biāo)跟蹤、基于單目特征的室內(nèi)定位導(dǎo)航等。同時(shí)，單目視覺(jué)是其他類(lèi)型視覺(jué)系統(tǒng)的基礎(chǔ)，如雙目三維視覺(jué)、多目視覺(jué)等，都是在單目視覺(jué)系統(tǒng)的基礎(chǔ)上，通過(guò)其他手段和措施來(lái)實(shí)現(xiàn)的。

雙眼三維視覺(jué)，雙眼視覺(jué)系統(tǒng)由兩個(gè)攝像頭組成，利用三角測(cè)量原理獲取場(chǎng)景的深度信息，可重建周?chē)鷪?chǎng)景的三維形狀和位置，類(lèi)似于人眼的視覺(jué)功能，原理簡(jiǎn)單。雙目 視覺(jué)系統(tǒng)需要準(zhǔn)確地了解兩個(gè)相機(jī)之間的空間位置關(guān)系，場(chǎng)景環(huán)境的3D信息需要兩個(gè) 只有從不同的角度拍攝同一場(chǎng)景的兩幅圖像，并進(jìn)行復(fù)雜的匹配，才能準(zhǔn)確獲得相機(jī) 三維視覺(jué)系統(tǒng)可以更準(zhǔn)確地恢復(fù)視覺(jué)場(chǎng)景的三維信息，廣泛應(yīng)用于移動(dòng)機(jī)器人定位導(dǎo)航、避障和地圖構(gòu)建。然而，立體視覺(jué)系統(tǒng)的難點(diǎn)在于對(duì)應(yīng)點(diǎn)匹配，這在很大程度上限制了立體視覺(jué)在機(jī)器人領(lǐng)域的應(yīng)用前景。

多目視覺(jué)系統(tǒng)，多目視覺(jué)系統(tǒng)采用三個(gè)或三個(gè)以上的攝像頭，多為三目視覺(jué)系統(tǒng)，主要用于解決三維視覺(jué)系統(tǒng)中匹配多義性的問(wèn)題，提高匹配精度。莫拉維克最早研究多目視覺(jué)系統(tǒng)，他是“Stanford Cart“開(kāi)發(fā)的視覺(jué)導(dǎo)航系統(tǒng)采用單攝像頭“滑動(dòng)三維視覺(jué)”，雅西達(dá)提出三維視覺(jué)系統(tǒng)解決相應(yīng)點(diǎn)匹配問(wèn)題，真正突破三維視覺(jué)系統(tǒng)的局限性，指出三維視覺(jué)系統(tǒng)的邊界點(diǎn)，三元匹配精度較高，艾雅石提出了以多邊形近似起伏邊界段為特征的三目匹配算法，并應(yīng)用于移動(dòng)機(jī)器人，取得了良好的效果。三目視覺(jué)系統(tǒng)的優(yōu)點(diǎn)是充分利用第三臺(tái)相機(jī)的信息，減少錯(cuò)誤匹配，解決雙目視覺(jué)系統(tǒng)匹配的多義性，提高定位精度，但三目視覺(jué)系統(tǒng)應(yīng)合理放置三臺(tái)相機(jī)的相對(duì)位置，其結(jié)構(gòu)配置比雙目視覺(jué)系統(tǒng)更麻煩，而且匹配算法更復(fù)雜 消耗更多的時(shí)間，實(shí)時(shí)性更差。

全景視覺(jué)，全景視覺(jué)系統(tǒng)是一個(gè)多方向成像系統(tǒng)，具有較大的視野，可達(dá)到360度，這是其他傳統(tǒng)鏡頭無(wú)法比擬的。全景視覺(jué)系統(tǒng)可以通過(guò)圖像拼寫(xiě)或折射光學(xué)元件來(lái)實(shí)現(xiàn)。圖像拼接方法使用單個(gè)或多個(gè)相機(jī)旋轉(zhuǎn)，大角度掃描場(chǎng)景，在不同方向獲取連續(xù)的多幀圖像，然后使用拼接技術(shù)獲得全景圖像。折射全景視覺(jué)系統(tǒng)由CCD相機(jī)和折射光學(xué)元件組成。利用反射鏡成像原理，可觀察360度場(chǎng)景，成像速度快，能滿足實(shí)時(shí)要求，具有非常重要的應(yīng)用前景，可應(yīng)用于機(jī)器人導(dǎo)航。本質(zhì)上，全景視覺(jué)系統(tǒng)也是一種單目視覺(jué)系統(tǒng)，無(wú)法獲得場(chǎng)景的深度信息。另一個(gè)特點(diǎn)是圖像分辨率低，圖像畸變大，影響圖像處理的穩(wěn)定性和精度。在圖像處理過(guò)程中，首先需要根據(jù)成像模型對(duì)畸變圖像進(jìn)行校正，這不僅會(huì)影響視覺(jué)系統(tǒng)的實(shí)時(shí)性，還會(huì)造成信息損失。此外，這種視覺(jué)系統(tǒng)對(duì)全景反射鏡的加工精度有很大的要求。如果雙曲反射鏡的精度不能滿足要求，理想模型的使用將對(duì)圖像校正有很大的偏差。

混合視覺(jué)系統(tǒng)和混合視覺(jué)系統(tǒng)吸收了各種視覺(jué)系統(tǒng)的優(yōu)點(diǎn)。復(fù)合視覺(jué)系統(tǒng)由兩個(gè)或兩個(gè)以上的視覺(jué)系統(tǒng)組成，主要采用單目視覺(jué)系統(tǒng)或雙目視覺(jué)系統(tǒng)，并配備其他視覺(jué)系統(tǒng)。全景視覺(jué)系統(tǒng)由球反射系統(tǒng)組成，全景視覺(jué)系統(tǒng)提供大視角環(huán)境信息、三維視覺(jué)系統(tǒng)和激光測(cè)距儀檢測(cè)障礙物，清華大學(xué)朱志剛使用攝像機(jī)開(kāi)發(fā)多尺度視覺(jué)傳感系統(tǒng)POST，實(shí)現(xiàn)雙眼、全方位環(huán)視和時(shí)代全景成像，為機(jī)器人提供導(dǎo)航。全景視覺(jué)系統(tǒng)具有全景視覺(jué)系統(tǒng)視覺(jué)范圍大、雙目視覺(jué)系統(tǒng)精度高的優(yōu)點(diǎn)，但該系統(tǒng)配置復(fù)雜，成本高。

ps 圖靈課堂老師從近一百套最新一線互聯(lián)網(wǎng)公司面試題中精選而出，涵蓋Java架構(gòu)面試 所有技術(shù)棧，包括JVM，Mysql，并發(fā)，Spring，Redis，MQ，Zookeeper，Netty， Dubbo，Spring Boot，Spring Cloud，數(shù)據(jù)結(jié)構(gòu)與算法，設(shè)計(jì)模式等相關(guān)技術(shù)領(lǐng)域的大 廠面試題及詳解。 詳情咨詢客服獲取全套面經(jīng)試題。