母院背景

母院背景

中心介紹

Introduction

 集成所-智能設計與機器視覺研究室

智能設計與機器視覺研究室成立于2008年2月,定位于計算機視覺與計算機圖形學領域的前沿基礎問題研究,并致力于智能設計與機器視覺領域的應用技術與系統開發,促進相關技術成果的轉移轉化。實驗室現由香港中文大學王昌凌教授擔任實驗室主任,全職員工5人,其中研究員1人,副研究員1人,工程師3人,博士及碩士研究生7人。

研究室自成立以來,已發表包括計算機視覺領域頂級期刊IEEE T-PAMI,自動化領域頂級期刊IEEE T-IE,圖像處理領域頂級期刊IEEE T-IP,計算機輔助設計領域頂級期刊CAD等SCI論文20余篇,申請及授權發明專利40余項,先后承擔多項國家自然科學基金、廣東省自然科學基金、中科院知識創新工程等重要研究課題,與華為、創維、亞泰光電等國內一線企業建立了緊密的合作關系,并先后承擔和完成了7項企業委托科研項目,相關科研成果曾獲得中央電視臺“新聞聯播”欄目報道。

宋展 中心執行主任

宋展,博士,研究員,博士生導師。2008年獲香港中文大學計算機輔助工程與自動化專業博士學位,2009年加入深圳先進技術研究院,現任智能設計與機器視覺研究室執行主任。主要研究領域包括計算機視覺3D重建、模式識別與人機交互,累計已發表各類學術論文70余篇,其中SCI期刊論文18篇,其中所提出的“全三維結構光重建算法”為領域首創,通過單張結構光投影實現了高精度的三維法向和深度信息的同步重建,相關成果也發表與計算機視覺領域頂級期刊IEEE T-PAMI;所提出的“高魯棒性二值編碼算法”首次實現了對于反射特性表面的高精度三維掃描,重建效果明顯優于現有的正弦結構光方法,相關成果也發表于自動化領域頂級期刊IEEE T-IE;所提出的“基于LCD的高精度結構光標定算法”,通過簡單的LCD顯示器實現了高精度的系統參數標定,該方法也被業內廣泛采用,相關成果發表于測量領域權威期刊IEEE T-IM。截至2013年底,累計申請及授權發明專利20余項。先后承擔國家自然科學基金、廣東省自然科學基金、中科院知識創新工程等多項國家及省部級科研項目,先后承擔了華為、創維、亞泰光電等企業委托課題7項,相關科研成果曾獲得CCTV“新聞聯播”欄目報道。

現為IEEE會員,參與多次國家及省市基金和科研項目的評審及驗收工作,擔任IEEE Trans. on Image Processing等多個國際期刊審稿人,參與組織多次國際學術會議,入選廣東省第二批創新團隊“機器人與智能信息系統團隊”核心成員,入選深圳市“孔雀計劃”B類人才,擔任廣東省光電影像技術專業委員會特邀顧問、廣東省企業特派員、深圳市青年科技協會理事,榮獲2011年度中科院院地合作先進個人(科技類)一等獎、2012年中國產學研合作創新獎(個人)等榮譽。

研究方向:

3D重建(3D Reconstruction)

人機交互(HCI)

 

 

 其他研究方向

1.全三維動態三維重建系統

人臉的動態全三維重建效果圖

技術原理

采用偽隨機彩色結構光編碼技術,實現基于單張圖像的三維點與及其獨立法向的動態三維重建

點云精度: 0.1mm(1米距離,800x600mm范圍)

法向精度: 1.65?(1米距離,800x600mm范圍)

重建時間: 1/30秒,取決于投影及相機刷新頻率

特點:
? 動態三維獲取能力:采用空間編碼技術,基于單次投射及圖像獲取,即可獲取精確的三維信息。
? 全三維重建算法:通過系統幾何標定及投影模板設計算法,在重建高密度點云數據的同時也可以恢復出編碼特征處的高精度三維法向信息,進而重建出更高質量和更高密度的動態三維模型。
? 相關研究成果業已發表于IEEE Trans. on PAMI。
? 可用于快速高精度的動態三維測量及三維人機交互娛樂系統。

 

2、并行高速三維掃描系統

靜態物體掃描

主要技術指標

掃描速度: 1秒

點云數量: 1.3M×2

處理時間: <1秒

重構精度:0.04mm(1.2m, 800×600mm)

適用物體:除鏡面反射外的絕大部分表面可直接掃描,無需噴涂處理。

特點:
? 并行掃描:單次掃描獲得兩組獨立互補三維點云數據。

? 速度快:在1秒內完成掃描,采用高速相機與投影裝置可進一步提高掃描速度。

? 穩定性高:采用創新的結構光編解碼算法,可直接掃描絕大多數包括黑色物體表面。

? 處理速度快:C語言開發平臺,可在1秒內完成200萬點的空間坐標計算。

? 可用于反求、文物三維檔案、快速成型系統等的三維數字化裝備。

3.超高精度三維掃描系統

主要技術指標

掃描速度: 1-3秒(取決于投影刷新率)

點云數量: 1.3M

處理時間: <1秒

重構精度:0.002mm(150mm, 50×40mm)

適用物體:除鏡面反射外的絕大部分表面可直接掃描,無需噴涂處理。

硬幣表面的三維重建(無噴涂處理,原始數據無平滑處理)


BGA表面及金屬切割表面顯微形貌的三維重建(無噴涂處理,原始數據無平滑處理)  

書寫痕跡的及紙幣表面紋理的三維重建

特點:
? 精度達到微米級、低成本。
? 單面掃描時間<3秒。
? 可直接處理金屬表面。
? 可用于高精度測量、粗糙度測量、三維字體鑒定,油畫三維掃描等領域。
 

 4.低成本快速三維指紋、掌紋采集系統 

技術特點1

1.   基于光度學原理。

2.   采用若干LED燈和同步相機,實現快速的指紋三維獲取。

3.   成本低。

4.   速度快:可達0.1秒。

5.   綜合指標遠優于國際現有系統。

6.   可用于三維指紋采集與識別系統。

原始指紋照片及三維重構結果

掌紋原始照片及三維掌紋重構結果及局部放大三維視圖

5.視覺交互式投影系統

技術特點

?    低成本:普通攝像頭+操作筆+后臺軟件。

? 高速度:理論速度達到500FPS以上,普通攝像頭上可達60FPS。

? 高精度:定位精度0.1像素。

? 操作方便:一鍵式操作,無需手工標定。

6.“指書”— 桌面型互動娛樂及人機交互系統

系統特點

? 基于微型投影裝置與普通攝像頭,實現手指的直接桌面電腦操作、游戲娛樂與書寫等各種操作功能。

? 擬以嵌入式方式實現視覺圖像處理,可集成到微型投影系統或投影手機內部,實現手指的交互式操作。

7.手部跟蹤及手勢識別系統

 手勢識別系統

動態復雜背景手部跟蹤系統

8.其他研究方向

? 中國歷史事件的重構和可視化

在歷史建筑和情景的重構中,圖片、視頻甚至三維掃描數據被用作參考。雖然現有的CAD和3D建模技術提供了解決該問題的有效工具,但是建模的質量很大程度上依賴設計者的技能和經驗。舉例來說,當現有的信息(例如只有建筑物的一張圖片)不足以細化一個3D模型,設計者需要提供缺失的細節。本項目提出的研究目標是開發一個工具庫來幫助設計者基于不完整的參考數據重構3D模型。一個有待進一步研究的方法是利用圖片的投影幾何來推導物體的深度信息。另一方面,為了能被用于3D建模,圖片中的紋理必須被轉換為矩形圖像。這些技術將會與”Curvair”(一個交互的中國式場景和人物開發工具)結合起來以提供一個完整的開發系統。”Curvair”提供一個工具集來創建地形,包括建筑物,例如長城、中國寺廟、工藝品等。通過將研發的工具,非現存的歷史建筑和場景,例如圓明園,都可以被重構??梢灶A見該系統將在教育、博物館、主題公園和計算機游戲行業有重大應用。

? 機械仿真

本項目提出構造一個機械的頭部,以模仿人的語言交流,并有同步的面部表情、頭部和口部運動作配合。整個開發由多個階段構成,從最基本的根據聲音指令的口部開和閉到在裝有傳感器的人臉上生成面部運動,到從視頻記錄直接模擬人類表情。項目對研究如何把情感的不同表達管道(面部表情、眼瞼位置、手部姿勢等) 放在一起從而達到情感的識別和表達有所啟發。項目的最終目標是建造一個與人友好的、富感性的、帶表情的人機接口。這個項目的成功將對未來的機器人有很大影響。它們在醫院和家庭中可作為帶恰當面部表達的類人替代品。這個機械仿真裝置本身也能夠在一些服務行業中應用,例如銀行和信息提供商等。其他新的應用,例如為觀光者服務可以在不同語言和不同文化的肢體語言之間隨意轉換的對話人臉,都是可能的。本項目也能夠應用于識別和顯現來自不同文化和種族的人的表情。

? 智能監控系統中姿態識別與估計

? 3D顯示與拍攝

? 機器視覺測量

? 計算機圖形學

 

集成所-智能設計與機器視覺研究室

中心聯系方式

CONTACT

聯系人:曹曉燕

地址:天津市西青區海泰發展六道興企一號園區

電話:022-60965987

郵箱:caoxiaoyan@tiat.ac.cn

Powered by CmsEasy