母院背景

母院背景

中心介紹

Introduction

集成所--人機控制研究室

 

 

中國科學院香港中文大學深圳先進集成技術研究所(以下簡稱“集成所”)是2006年2月經中國科學院、深圳市人民政府和香港中文大學三方友好協商共建的從事先進集成技術研究與開發的組織,以應用基礎研究、關鍵技術研究、技術集成與示范為重要的研究單元。
集成所一方面堅持多學科交叉,軟硬件并重,以系統集成技術開發為主,以單項技術研發為輔的研究理念,建立先進集成科學與工程領域發展相應的學科基礎;另一方面,堅持面向先進制造業與現代服務業的科技需求,以應用為導向,面向現代制造裝備領域,開辟了以集成技術為特征的交叉學科,該學科包含了機器人與智能系統、先進制造與裝備、汽車電子與節能等三大研究方向。

中心簡介

 

人機控制研究室成立于2007年,主要致力于機器視覺及智能人機交互關鍵技術,包括快速三維重建、智能機器人、多傳感器融合人機交互、計算機視覺在自動化生產線上的應用等。承擔了多項政府和企業科研項目,近年來發表學術論文115篇,獲得授權專利28件。已建成可視化及多媒體平臺和機器人平臺2個實驗室,給學生提供了很好的學習研究平臺。

 

 

中心主任

 

程俊 

程俊,研究員,博士生導師。2006年于香港中文大學獲得博士學位,同年加入中國科學院深圳先進技術研究院。入選深圳市雙百計劃、深圳市高層次專業技術人才、深圳市孔雀計劃人才、廣東省引進海外科研創新團隊核心成員。2007年創建了人機控制研究室,任研究室主任,從事計算機視覺、機器人、人機交互方面的研究,承擔50多個政府和企業科研項目,在國際期刊和國際會議上發表高質量學術論文100多篇,獲得2件美國發明專利授權,1件新加坡發明專利授權,13件國家發明專利授權,10件實用新型專利,2件外觀設計,申請了30多件國家發明專利。2014年獲得吳文俊人工智能科學技術進步獎二等獎(第一完成人)。擔任國家自然科學基金、廣東省、深圳市科技項目評審專家。與企業合作緊密,孵化了兩家國家高新技術企業,推出了愛動在線運動機、小Q機器人、Q影3款產品。 

 

實驗室一角

 

              

項目簡介

 一、智能交互式機器人

 1、智能互聯網機器人(小Q機器人) 

 小Q機器人融合了互聯網技術和智能機器人技術,是中國科學院與騰訊公司重大戰略合作項目,依靠強大的技術平臺,通過與騰訊QQ的整合,以生動的表情肢體動作、語音互動、行為學習等方式,豐富和拓展了人們的在線生活,并使智能機器人走進千家萬戶,真正成為人們的在線生活伴侶,主要功能包括: 
仿生互動:小Q擁有當下完整的基礎仿生體系,擁有“微米級”高精度體感裝置——搭配智能攝像頭,對于人的語音、觸摸、指令等均有流程的互動回應,同時其頭部、翅膀、眼睛的靈活互動能讓用戶充分感受到智能寵物所帶來的不同體驗! 
語音操控:小Q的智能系統可以在中文環境下得到充分發揮,讓用戶體驗智能時代的語音控制。用戶通過發出語音操控指令,小Q隨之互動給予反應,時時刻刻為用戶帶來小驚喜! 
遠程傳情:小Q是QQ的真實寵物體,化身小Q以真實的語音對話為基礎進行即時語音消息提醒,便捷的智能語音輸入轉化為文字在線聊天,同時小Q還可以將表情真實立體的通過眼睛表現出來,使用戶QQ聊天更加便捷,體驗化身帶來的真實感! 
動感音響:小Q擁有良好的SRS智能系統環繞音響,在互聯音樂上首次達成了寵物觸摸語音控制——讓一個手勢和一句歌名就能滿足用戶隨時享受音樂的意愿。不僅如此,小Q還可以隨著音樂節拍舞動! 
核心技術:智能人機交互、云服務、運動跟蹤 
項目來源:國家發改委專項、廣東省院合作、深圳技術攻關、深圳基礎研究、院企聯合實驗室 

                                

 

 

2、微型互動投影——Q影 
自主研發的微型互動投影Q影,是全球首創光控是移動投影儀。Q影是投影畫面16:9,采用DLP技術,使其只有拳頭大小的機身可以投影超過120英寸的影像。Q影與普通微型投影儀最大的領先優勢在于——Q影擁有獨特的互動技術,能夠感知配套的觸控筆或遙控筆操作。用戶可使用觸控筆在投影畫面上直接點觸操作,比如涂鴉作畫、修改PPT、電子書備注、瀏覽網頁、玩網頁游戲等,讓任何一個屏幕成為觸摸屏;使用遙控筆可以模擬鼠標操作,實現遠程操作。 
Q影配備的光學觸控筆,能在投影平面進行互動,操作分辨率高達3200´2400,顯示倍數高達20倍。同時Q影配備的遠距光控筆,采用半導體激光技術,可以帶來完美線性光控反饋。光控筆分辨率高達2560´1920,并設置了單雙擊操作,控制定位精度1個像素,響應時間小于40ms,隔空與投影畫面進行互動,體驗游戲帶來的快感。Q影支持連接蘋果、安卓系統設備,可無縫結合支持家庭影院設備Apple TV以及小米盒子。 
項目來源:國家發改委專項、廣東省院合作、深圳技術攻關、深圳基礎研究、院企聯合實驗室 

 

 

3、下棋機器人 
隨著機器人技術的快速發展,家庭服務機器人逐漸走進了普通家居生活。人機交互技術,作為一項關鍵技術已成為機器人領域的研究熱點,即用戶以何種方式實現與機器人之間的交流與控制。本項目針對家庭服務機器人的人機交互需求,系統地研究了人-機信息感知和反饋方法,實現人與機器人的自然交互,主要功能包括: 
下棋功能:投影儀投射數字棋盤,例如“五子棋”或“象棋”,通過視覺識別人手和機器手指的空間位置,驅動機器手沿著規劃路徑運動到指定位置,實現人與機器對弈 
猜拳功能:用戶與機器手同時出拳,例如,“石頭”、“剪刀”或“布”,同時,機器人識別人手的狀態,判斷結果,并通過語音輸出,實現猜拳互動 
核心技術:空間定位、手勢識別、信息融合、人機控制 
項目來源:中科院知識創新工程 

 

                

 

4、老人服務機器人 
人口老齡化已經成為世界范圍的重大社會問題,我國老年人口已占全國總人口的10%,老齡化日趨嚴重,需要社會的關愛和照顧。本項目旨在研發老人服務機器人的關鍵技術及應用模塊,為老年人提供諸如情感交流、健康監護及護理等服務,以提高老年人的生活質量,主要功能包括: 
基于語音和唇形的情感識別,能夠感知老人的心情,陪老人聊天 
基于多傳感器融合的意外情況(如摔倒)監護 
根據老人的健康狀況制定老人的飲食計劃和健身計劃,提醒老人按時服藥 
開發適合老人鍛煉的虛擬健身功能 
項目來源:中科院知識創新工程 

 

            

 

二、體感交互技術及系統 

 

1、標記點虛擬體育交互系統 
為了更廣泛地開展群眾性體育活動,增強人民體質,國家開展了全民健身計劃。然而很多的體育項目會受到場地和時間等因素的制約,很難達到普及的程度。如果能夠利用計算機的優勢,將體育運動變成在虛擬環境中進行,例如可以在客廳里面打網球、高爾夫球等,就可以有效地提高全民健身運動的普及程度。本項目主要研究虛擬體育運動,即人與電腦之間(或者人與人間通過互聯網)的交互進行體育運動,利用計算機視覺技術識別人體以及體育器械的運動狀態和動作模式,并將動作模式反饋給計算機,控制虛擬體育運動中的角色做出相應的動作。此類人機交互平臺的研究,以體育健身作為應用目標,實現人體運動動作的正確識別,達到全民健身的效果。  
項目來源:院企聯合實驗室、深港創新圈、深圳基礎研究 

 

 

2、無標記點人體三維重建 
人體運動捕捉一直是計算機視覺領域的研究熱點。傳統方法采用的是帶標志點的識別方式,通過對標志點進行圖像匹配和三維重建,獲取目標的三維信息。在微軟公司2010年發布的KINECT系統中,應用了最先進的無標志點的基于數字散斑投影的三維測量技術,可以實時、高精度地重建出目標場景的深度信息,然后對場景中的人體進行三維信息處理、理解和跟蹤。 
數字散斑相關法為三維體感人機交互提供了一種新穎的測量方法,并可以有效地應用于虛擬體育運動中。然而虛擬體育運動要求系統對數據進行實時處理,因此如何在保證一定測量精度的條件下,降低數字散斑相關搜索方法的計算復雜度是研究的重點。本項目通過理論和實驗研究,開發了基于紋理光投射的雙目立體視覺系統,并提出了一種基于相鄰點的數字散斑快速搜索方法,該方法有效地提高了數據的利用率,靈活地避免了復雜運算。根據測量點的誤差特征,提出了距離加權鄰域平均法,顯著地提高了測量精度并得到了非常好的測量結果。實驗證明所提方法能快速、有效地測量物體的深度信息。 
此外,本項目針對IDONG300人機交互芯片集成需求,開發了高效率三維重建技術,實現了體感交互系統的低成本和小型化,標志著我們的核心技術已經在人機交互系統產業化方面邁出了堅實的一步。 
項目來源:國家自然科學基金、廣東自然科學基金、深圳技術攻關、深圳基礎研究、院企合作 

 

        

 

3、三維動作識別 
體感交互作為一種很自然的人機交互方式,在計算機體感游戲、移動終端控制、機器人控制和智能家電控制等方面具有廣闊的應用前景,成為人機交互領域的研究熱點之一。尤其是微軟推出Kinect體感交互設備,為用戶帶來了新穎有趣、創新、高效的體驗,進一步引發了體感交互技術革新及應用熱潮,也使得基于深度圖像的動作識別成為研究熱點。 
本項目旨在研究基于深度圖像的人體姿態估計與動作識別,可融合時空信息、深度圖像信息、以及加速度等其他傳感信號,通過提取不同維度上的特征,采用深度神經網絡的分類方法,實現快速魯棒的大規模動作識別,同時便于通過增量學習的方法不斷擴展待識別動作的類別。本項目在多種信息融合實現大規模的動作類別識別理論上有所創新,研究成果可應用于增強現實、機器人、智能終端等多種人機交互場景。 
項目來源:深圳技術攻關、深圳基礎研究、院企合作 

       

 

三、機器視覺智能化檢測 

 

1、電路板自動光學檢測 
半導體的制造過程十分復雜,很多工序采用自動光學檢測(AOI)設備重建出晶圓、BGA等的三維形狀,進而檢查產品缺陷,提高產品合格率。另外在PCB加工過程中,隨著線路板上元器件組裝密度的提高,電氣接觸測試越來越困難,將AOI技術引入到SMT生產線的測試領域是大勢所趨。AOI不但可對焊接質量進行檢驗,還可對光板、焊膏印刷質量、貼片質量等進行檢查。各工序AOI的出現幾乎完全替代人工操作,對提高產品質量、生產效率都是大有作為的。AOI通過攝像頭自動采集PCB圖像,測試焊點與數據庫中合格參數比較,檢查出缺陷,并通過顯示器或自動標志把缺陷顯示、標示出來,方便維修。本項目設計的AOI平臺,針對半導體產品表面反射特性不均勻,提出創新的方法來完成晶圓、PCB等的二維和三維檢測。 
項目來源:國家自然科學基金、中科院STS、深圳雙百計劃 

2、沖壓件表面缺陷檢測 
在家電產品生產中,框架板材經常出現外觀缺陷,嚴重影響了噴漆后表面的美觀性。因此,板材沖壓件在噴漆之前,需要檢測其表面的缺陷分布,以確保最終的家電外觀質量。在現有檢測技術中,光學檢測具有判斷準確、快速、穩定性高的優點,為表面缺陷的實時檢測提供了解決方案。本項目采用三組彩色光源和CCD相機組成的模塊高速抓拍沖壓件表面圖像,并將其傳輸到分布式硬件處理單元,經相關圖像算法處理后,得到沖孔位置數據和沖壓件表面異常數據,并判斷缺陷類型及其所在區域。本項目系統已交付企業使用,克服了人工目檢時存在的檢測速度慢、準確率低等缺點,能滿足自動化生產需求。由于該檢測系統兼具成本和效率優勢,可面向自動化生產的家電企業,起到改善產品質量控制的作用,進而獲得更多的市場份額,創造更優的品牌價值。 
項目來源:企業橫向 

 

    

 

3、手機外殼智能化檢測 
以生產智能化為主要特征的“工業4.0”將對全球制造業升級發揮越來越大的引領作用,也將促進深圳“強化自主創新能力”、“提升產業發展水平”、“促進產業高端集聚”、“拓展現代制造服務”、“優化產業生態環境”。本項目面向我市移動終端制造業的需求,將研發工業視覺在產品表面缺陷檢測系統中關鍵技術,實現高度集成的智能化表面缺陷檢測設備。項目的順利實施將提升我市在高端檢測成套設備領域的自主創新能力,打破歐美、日本在該領域的壟斷局面,從而推動深圳智能制造技術水平的突破,引領相關行業的產業升級,提高企業面對諸多因素導致的用工荒時的抗風險能力。 
經費來源:院企合作 

    

 

 

 

集成所--人機控制研究室

中心聯系方式

CONTACT

聯系人:曹曉燕

地址:天津市西青區海泰發展六道興企一號園區

電話:022-60965987

郵箱:caoxiaoyan@tiat.ac.cn

Powered by CmsEasy