視覺AI實驗室_惠州市廣工大物聯網協同創新研究院

本部門擁有高性能圖像采集分析處理系統、高動態范圍亮度成像儀、3D線掃描系統、高速相機、黑白線掃相機等儀器設備，全自主集成開發的集目標模擬、光學量測、機器視覺、圖像二次開發為一體的多功能、智能化機器視覺平臺，不僅可以服務于機器視覺及智能化裝備的研發，也可以為企業提供光學成像等測試分析服務。同時，本部門作為惠州研究院物聯網數據感知技術研究方向的突破口，為工業機器人及自動化系統集成提供核心技術支撐。

二、研究方向與課題

研究案例與研究方向：

標簽檢測整機外觀手機輔料 PCB板彩盒

工件尺寸測量連接線測量汽車零部件檢測五金件尺寸測量多個工件尺寸螺紋檢測

三、實驗室技術服務介紹

類別	檢測項目	檢測內容
成像測試	高精度可見光成像服務	采用高精度可見光成像儀，在不同的光照條件下，對目標進行靜態或動態成像，提供原始圖像數據，供客戶進行視覺特征分析。
	高對比度成像測試服務	采用高對比度可見光成像儀，在微光或高對比度光照條件下，對目標進行靜態或動態成像，提供原始圖像數據，供客戶進行視覺特征分析。
	高速成像測試服務	對高速運動物體或事件，在特定條件下對目標進行成像，提供原始圖像數據，供客戶進行視覺特征分析。
	超高分辨率成像測試服務	對目標物體細部結構，或大區域范圍進行高分辨率成像，提供原始圖像數據，供客戶進行視覺特征分析。
	3D掃描成像測試服務	利用雙目立體成像原理，對目標物體進行表面和高度數據采集，在電腦軟件端還原，并判斷其物理尺寸，提供原始數據，供客戶進行物性分析。
	高精度彩色線掃成像測試服務	對目標物體進行高速、高精度線掃成像，提供高分辨率的彩色線掃成像圖像數據，供客戶進行視覺特征分析。
	高精度高對比線掃成像測試服務	對目標物體進行高速、高精度線掃成像，提供高分辨率的灰階線掃成像圖像數據，供客戶進行視覺特征分析。
目標模擬	目標運動模擬測試	對目標進行多軸向運動狀態模擬，并提供運動條件下，目標多角度成像測試，提供原始圖像數據，供客戶進行視覺特征分析。
目標模擬	目標光譜特性模擬測試	對目標進行可見光范圍內多光譜模擬，并提供不同光譜照射條件下，目標成像測試，提供原始圖像數據，供客戶進行視覺特征分析。

表10 設計服務項目

類別	檢測項目	檢測內容
機器視覺算法設計	模式及幾何匹配設計	對圖像中特定模式或幾何形狀進行識別，并實現快速高精度的模式定位的算法設計。
	光學特性識別/驗證（OCR）	對圖像中的各類字體、字符及符號進行識別的算法設計。
	空間標定	對圖像中因相機角度或鏡頭扭曲等造成的干擾，進行矯正，實現更精準真實的圖像測量的算法設計。
	顆粒分析	對圖像中連接區域或像素組進行識別和選擇測量的算法設計。
	色彩檢查	對圖像中色彩匹配進行量化，并識別該特定區域中色彩成分及色彩濃度的算法設計。
	邊緣檢測	對圖像中不連續的像素和亮度進行識別，以尋找目標邊緣，實現測量和監測的算法設計。
	圖像濾波及頻率分析	通過如快速傅立葉變化等方式，對圖像亮度及空間分配的周期性變化進行識別的算法設計。
	目標分類	通過比較目標的顯著特征或已知樣品的特征集來識別未知目標的算法設計。
	尺寸計量	通過空間測量得到目標的可測量的臨界距離信息，如距離、角度、區域、線匹配等的算法設計。
	黃金模板比對	通過與完美樣本的比對，快速找出后續圖像中的缺陷的算法設計。
機器視覺組件設計	成像光學設計	提供成像光學設計、光學仿真、透鏡檢驗和加工、光電設備光學分析、光學系統光路設計和裝調等服務。
	組件機械設計	機器視覺設備開發制造、機械設備與非標零部件的設計（交付設計資料圖紙及樣機），關鍵部件的測繪與逆向，CAE技術服務，產品制程工藝設計。
	電子學設計	提供焦平面讀出電路設計以及成像電子學控制與采集系統的設計，嵌入式機器視覺模塊設計。
	工業設計	為企業提供市場研究、產品設計研究、工業產品外觀設計、結構設計及跟蹤管理，界面設計，平面設計，展示設計等。
機器視覺系統設計開發	系統方案設計	根據客戶要求提供機器視覺系統的一體化解決方案，包括硬件架構和相關的軟件算法。
	設備控制系統設計	提供設備整體控制系統的設計方案，并建立數學模型，進行理論分析和仿真，選擇合適的控制算法。
	圖像采集及處理系統設計	提供數據采集方案，進行精度和誤差分析，選擇合適的數學模型和算法，編制相關軟件程式。
	系統設計與制造	提供設備總體結構設計服務（包括外形及內部結構），包括繪制設備結構圖、自制零件圖、電路原理圖等，并找出關鍵技術的解決方案。并提供樣機制造、裝配和整體調試服務。

四、研發成果

機器視覺實驗平臺產品系例：

（一）：托盤檢測標準機

主要用于托盤式FPC、PCB、PCBA等產品缺陷檢測，托盤的大小兼容范圍：300≥W≥200,480≥L≥200，產品大小根據客戶需求確定。托盤檢測標準機三維結構見下圖1，設備基本參數如下表1-1所示。

托盤檢測標準機

表1-1 托盤檢測標準機基本參數

（二）線掃檢測平臺

采用8k、16k、64k系列高分辨率線掃相機，匹配千兆網卡、高性能工控機及對應的鏡頭和光源，實現產品快速運動中的圖形采集，主要用于檢測產品小尺寸瑕疵等項目，產品兼容尺寸范圍：300≥W≥80,500≥L≥100。線掃檢測平臺三維結構如下圖2所示，設備基本參數如下表2-2所示。

線掃檢測平臺3

表2-2 線掃檢測平臺基本參數

（三）面陣檢測平臺

主要用于快速檢測中小規格產品外觀、尺寸缺陷，產品尺寸兼容范圍：245≥W≥200,355≥L≥290。面陣檢測平臺三維結構如下圖3所示，設備基本參數如下表-3-3所示。

面陣檢測平臺

表3-3 面陣檢測平臺基本參數

（四）遠心檢測平臺

主要用于快速檢測中小規格產品外觀、尺寸缺陷，產品尺寸兼容范圍：150≥W≥50,150≥L≥50。遠心檢測平臺三維結構如下圖4所示，設備基本參數如下表4-4所示。

遠心檢測平臺

表4-4 遠心檢測平臺基本參數

五、應用案例/行業

行業應用：

案例應用：

玻璃外觀檢測

主要對玻璃蓋板白片、玻璃絲印片、LCM模組產品進行透光，異物，崩邊，劃痕，絲印，臟污，指紋，氣泡、輪廓等多種缺陷進行檢測

玻璃檢測設備

2D、3D尺寸測量

主要對2D/3D元件產品進行尺寸測量、孔位、平面度、裂紋蹦缺、刀路痕跡、螺紋等多項內容進行檢測

尺寸測量設備

表盤檢測

主要對表盤上缺針、錯針、指針格、LOGO、缺絲印等多種缺陷進行檢測。

表盤檢測設備

計算機視覺

也稱機器視覺。它是利用一個代替人眼的圖像傳感器獲取物體的圖像，將圖像轉換成數字圖像，并利用計算機模擬人的判別準則去理解和識別圖像，達到分析圖像和作出結論的目的。該技術是模擬識別人工智能、心理物理學、圖像處理、計算機科學及神經生物學等多領域的綜合學科。計算機視覺技術用攝像機模擬人眼，用計算機模擬大腦，用計算機程序和算法來模擬人對事物的認識和思考，替代人類完成程序為其設定的工作。該技術由多個相關的圖像處理系統組成，主要包括光源提供系統、圖像提取系統、計算機數據運算系統等。原理是：首先通過攝像機獲得所需要的圖像信息，然后利用信號轉換將獲得的圖像信息轉變為數字圖像以便計算機正確識別。

機器視覺就是用機器代替人眼做測量和判斷的系統，他通過光學裝置和非接觸傳感器自動獲取目標對象圖像，并由圖像處理設備根據圖像分析等信息進行各種運算處理個判別分析，壹提取所需的特征信息或根據判別分析結構對某些現場設備進行運動控制。

一個機器視覺系統包含：光源、鏡頭、相機、圖像采集，圖像處理軟件等等一系列組成。

一個典型的工業機器視覺系統包括：光源、鏡頭（定焦鏡頭、變倍鏡頭、遠心鏡頭、顯微鏡頭）、相機（包括CCD相機和COMS相機）、圖像處理單元（或圖像捕獲卡）、圖像處理軟件、監視器、通訊 / 輸入輸出單元等。

工作原理

機器視覺檢測系統采用CCD照相機將被檢測的目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統對這些信號進行各種運算來抽取目標的特征，如面積、數量、位置、長度，再根據預設的允許度和其他條件輸出結果，包括尺寸、角度、個數、合格 / 不合格、有 / 無等，實現自動識別功能。

機器視覺系統組成

隨著機器視覺技術的深入，各個高校開始注重機器視覺技術領域人才培養，加大機器視覺實驗室研究投入與人才培養，加強與各個企業合作。充分利用學校和企業的優勢，共用推進機器視覺技術發展和人才輸出。一系列機器視覺實驗平臺，可提供研究者在短時間內進行機器視覺硬件選型、設計。同時配合視覺軟件完成多種機器視覺實驗算法驗證與教學。

計算機視覺的關鍵技術

計算機視覺信息的處理技術主要依賴于圖像處理方法，經過處理后輸出圖像的質量得到相當程度的改善，既改善了圖像的視覺效果，又便于計算機對圖像進行分析、處理和識別。

1.圖像分割

　　圖像分割是將圖像分成若干部分，每一部分對應于某一物體表面，在進行分割時，每一部分的灰度或紋理符合某一種均勻測度度量。其本質是將像素進行分類，分類的依據是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法，另一種是空間域區域增長分割方法。

2.圖像增強

　　圖像的增強用于調整圖像的對比度，突出圖像中的重要細節，改善視覺質量。通常采用灰度直方圖修改技術進行圖像增強。圖像的灰度直方圖是表示一幅圖像灰度分布情況的統計特性圖表，與對比度緊密相連。

3.圖像平滑

　　圖像的平滑處理技術即圖像的去噪聲處理，主要是為了去除實際成像過程中因成像設備和環境所造成的圖像失真，提取有用信息，去除噪聲，恢復原始圖像是圖像處理中的一個重要內容。

4.圖像編碼和傳輸

　　數字圖像的數據量是相當龐大的，高信道速率意味著高投資，也意味著普及難度增加。因此，傳輸過程中，對圖像數據進行壓縮顯得非常重要。圖像數據的壓縮主要通過圖像數據的編碼和變換壓縮完成。

5.邊緣銳化

　　圖像邊緣銳化處理主要是加強圖像中的輪廓邊緣和細節，形成完整的物體邊界，達到將物體從圖像中分離出來或將表示同一物體表面，它是早期視覺理論和算法中的基本問題，也是中期和后期視覺成敗的重要因素之一。

6.圖像識別

　　圖像的識別過程實際上可以看作是一個標記過程，即利用識別算法來辨別景物中已分割好的各個物體，給這些物體賦予特定的標記，它是機器視覺系統必須完成的一個任務。目前用于圖像識別的方法主要分為決策理論和結構方法。

機器視覺系統的特點是提高生產的柔性和自動化程度。在一些不適合于人工作業的危險工作環境或人工視覺難以滿足要求的場合，常用機器視覺來替代人工視覺；同時在大批量工業生產過程中，用人工視覺檢查產品質量效率低且精度不高，用機器視覺檢測方法可以大大提高生產效率和生產的自動化程度。而且機器視覺易于實現信息集成，是實現計算機集成制造的基礎技術。