現(xiàn)實世界的三維結(jié)構(gòu)信息不僅是展示的有力手段，更是連接現(xiàn)實與虛擬的橋梁。三維計算機視覺技術(shù)則是一種利用圖片、視頻以及各類深度傳感器信息，采用幾何、統(tǒng)計以及優(yōu)化等數(shù)學(xué)工具對現(xiàn)實世界進行三維建模的技術(shù)。由于三維計算機視覺技術(shù)使用照片等與日常生活息息相關(guān)的媒體信息，因此該技術(shù)將會成為三維展示、定位和人機交互等應(yīng)用領(lǐng)域的重要技術(shù)之一。目前IDL的3D組已經(jīng)在以下兩個技術(shù)方面有了初步的成果。
基于圖片的三維重建
相片是人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，它在記錄一個難忘的時刻的同時，也記錄下了所拍攝內(nèi)容的部分結(jié)構(gòu)信息。利用這些結(jié)構(gòu)信息，通過多張不同視角拍攝的相片則可以恢復(fù)出被攝對象的三維結(jié)構(gòu)。這一技術(shù)在移動平臺迅速發(fā)展和普及的今天，將極大拓展普通用戶獲取感興趣信息的方式。由于計算得到三維結(jié)構(gòu)的同時，我們還得到了拍攝這些相片時相機所在的空間位置和朝向，因此可用于無GPS等定位信息存在時的室內(nèi)外定位場合。將三維技術(shù)與基于圖像的渲染技術(shù)相結(jié)合，還可以在離散的相片之間生成一系列虛擬的相片，連續(xù)播放時能產(chǎn)生媲美視頻的效果，讓美好的記憶更加生動。
基于深度信息的高精度建模
高精度模型不僅僅可以用于物體的展示，還可以用于3D打印和電影特效等，因此高精度模型在工業(yè)和娛樂領(lǐng)域都有著重要的應(yīng)用。我們目前可使用激光測距儀和Kinect等設(shè)備采集深度信息，并通過點云拼接技術(shù)得到掃描對象的三維點云，最后在點云基礎(chǔ)上采用表面重建技術(shù)得到可供計算機進行貼圖和光照渲染的表面模型。
相信經(jīng)過我們的努力，這些技術(shù)馬上就可以和大家見面，給大家的生活增添更多樂趣！
基于RGB-Depth三維重建
近年來，隨著三維深度成像技術(shù)的發(fā)展(如structure light和time of light)，出現(xiàn)了越來越多的輕便的消費級別深度相機(微軟Kinect, 華碩Xtion Pro Live, Intel RealSense, Google Tango)，可以預(yù)見深度相機將會成為移動設(shè)備標(biāo)配，越來越走進我們的生活。深度相機提供了三維距離信息，通過實時計算深度相機的位置和朝向，可以實現(xiàn)對現(xiàn)實三維世界的實時重建。彩色相機和深度相機的結(jié)合，可以完整的重現(xiàn)多彩的現(xiàn)實三維世界?；赗GB-Depth圖像，我們研究實時的三維物體和場景重建，SLAM，快速有效的loop檢測和loop closing技術(shù)，實現(xiàn)了一個實時重建系統(tǒng)。基于RGB-Depth重建即使可以實現(xiàn)實時的三維物體建模，三維室內(nèi)陸圖創(chuàng)建和定位，并結(jié)合渲染技術(shù)應(yīng)用于三維展示(商品，場景)，實時的室內(nèi)虛擬現(xiàn)實和增強現(xiàn)實等應(yīng)用中。
人體重建效果
帶顏色人體重建效果
室內(nèi)場景重建效果
基于圖像的定位技術(shù)
在缺乏GPS信息的公共室內(nèi)環(huán)境內(nèi)，針對個人用戶的定位技術(shù)具有廣闊的商業(yè)應(yīng)用前景。不同于基于WIFI或Bluetooth的解決方案，基于圖像的定位技術(shù)具有成本低、精度高、無需對場景現(xiàn)有結(jié)構(gòu)進行改動等優(yōu)勢。更重要的是，該技術(shù)能估計出用戶所拍攝相片在三維場景中的姿態(tài)，非常適宜于后期基于視覺的增強現(xiàn)實應(yīng)用，例如自然地疊加和顯示廣告等。
在一個典型的應(yīng)用環(huán)境例如商場，我們需要提前掃描一次整個商場環(huán)境獲得其室內(nèi)三維結(jié)構(gòu)信息和圖像數(shù)據(jù)庫。當(dāng)用戶通過手機拍攝一張商場內(nèi)環(huán)境的相片時，我們可以通過地點識別和三維相機姿態(tài)估計的技術(shù)獲得用戶精確的位置和相機方向。
掃描商場獲得的大型點云和圖像數(shù)據(jù)庫
用戶手機圖像定位示例
Augmented Reality（AR） 增強現(xiàn)實
所謂現(xiàn)實，以為我們可看到的、聽到的、觸摸到的這個世界。這個世界是符合一定物理規(guī)則的，比如世界是三維的，任何物體都符合透視關(guān)系，簡單的說就是近大遠(yuǎn)小等等。我們可以通過相機進行采集、計算來獲得當(dāng)前景物的三維邏輯關(guān)系，并在此基礎(chǔ)上，增加符合物理規(guī)則的事物、人物等，此即為增強現(xiàn)實。
增強現(xiàn)實可以連接現(xiàn)實與遠(yuǎn)方。輕觸浮動的AR圖標(biāo)，即可將我們從寫意的紙幣背景帶向遙遠(yuǎn)的桂林山水，那里的山水風(fēng)景，人文美食近在眼前。
我們提供實時，穩(wěn)定的跟蹤技術(shù)，使得虛擬的物品無縫銜接到現(xiàn)實中，而又提供與現(xiàn)實不同的體驗。
增強現(xiàn)實也可以將人類的生活變得更加便捷，比如，我們不用到飯店，就可以看到菜品的三維圖像，并提前點單；比如，我們不必親自到塞班島，便可了解那里的美麗風(fēng)光。
增強現(xiàn)實，為人類提供了實現(xiàn)夢想的機會，為人類提供了更高效、便捷的生活模式。
