行動終端應用軟體創作專題競賽 參賽主題： 具備車牌辨識功能的快速得來速服務 學校單位：國立雲林科技大學電機工程系 參賽隊名：ESoC

Presentation on theme: "行動終端應用軟體創作專題競賽 參賽主題： 具備車牌辨識功能的快速得來速服務 學校單位：國立雲林科技大學電機工程系 參賽隊名：ESoC"— Presentation transcript:

1 行動終端應用軟體創作專題競賽 參賽主題： 具備車牌辨識功能的快速得來速服務 學校單位：國立雲林科技大學電機工程系 參賽隊名：ESoC
指導教授：何前程 開發團隊：陳楷旻、張永泰

2 簡報綱要 一、作品動機與簡介 二、系統應用範圍 三、系統平台說明 四、系統設計說明 五、系統測試 六、系統功能說明展示

3 一、作品動機與簡介(1/6) 得來速(Drive-through)是一種免下車的商業服務，常見於餐廳，消費者可以留在車內領取服務。在使用得來速服務時，餐點或服務會藉由一至數個窗口來提供下單、收費及交貨的程序，而消費者仍然在車內，不需要下車，如下圖所示。 目前已經被廣泛地應用到速食店、咖啡店、酒類商品店、藥房、電信公司服務窗口、民宿旅館、當鋪、銀行提款機、量販店、汽機車監理站、國稅局及戶政事務所等服務業中，不勝枚舉。 3

4 一、作品動機與簡介(2/6) 得來速服務主要是提供專用車道給開車的消費者，讓開車的消費者免找停車位或免下車。
得來速服務通常分為三個階段：一、下單，二、結帳，三、交貨。然而，花費最多時間，甚至於有時候造成開車的消費者大排長龍的瓶頸關卡都是發生在「下單」與「結帳」階段。這是因為在「下單」 與「結帳」階段，消費者與服務者經常需要花時間去溝通確認訂單與付款。 4

5 一、作品動機與簡介(3/6) 在本作品「具備車牌辨識功能的快速得來速服務」中，讓開車的消費者使用行動裝置或手機，透過3G行動網路或無線網路，以車牌號碼做為「得來速訂單收費系統」的登入帳號，下訂單或提出服務，消費者的訂單會記錄於系統的資料庫中。此外，車牌電子錢包可以在線上手動儲值或不足額時自動儲值。 5

6 一、作品動機與簡介(4/6) 當消費者的車輛進入專用的得來速車道，透過架設在車道入口的「手持式與固定式兩用之自動車牌辨識裝置」，即時地辨識進入得來速車道的消費者車輛的車牌號碼，將辨識成功的車牌號碼回傳到「得來速訂單收費系統」的資料庫中，並自動地比對與調閱消費者的車牌號碼及其網路訂單需求。 6

7 一、作品動機與簡介(5/6) 最後，消費者的網路訂單需求會即時顯示在服務者端的螢幕上，依據消費者的網路訂單需求，透過車牌電子錢包來結帳，並提供相對應的餐點或服務，讓預先網路下單的消費者可以完全地省略得來速服務中的「下單」與「結帳」階段而直接進入「交貨」階段，以實現真正快速且便利的得來速服務。 7

8 一、作品動機與簡介(6/6) 為了改進傳統的得來速服務，本作品提出「具備車牌辨識功能的快速得來速服務」，因此需要實作與研發二項技術：
消費者端與服務者端皆會使用到的「得來速訂單收費系統」 服務者端會使用到的「手持式與固定式兩用之自動車牌辨識 裝置」車牌辨識技術 8

9 二、系統應用範圍(1/1) 「具備車牌辨識功能的快速得來速服務」，提供給廣大的得來速服務的相關業者建置本系統，使得來速服務的服務效率大增，省下經常大排車龍的第一階段「下單」與「結帳」時間，將可在尖峰時段內服務更多的消費者，增加無數商機。不僅帶給消費者方便，也能為消費者省下寶貴的時間，更可以大幅增加消費者使用得來速服務的意願，以增加服務業者的營收收入與經營效率 不想要使用車牌電子錢包服務的消費者，也可以使用中華電信行動電話加值的「手機帳單代繳其它費用」服務來快速結帳，然後在下期行動電話帳單中一併付款。 廣泛運用自動車牌辨識的實用性，並擴展整合多項免下車的得來速服務與車牌電子錢包的機制，此種便利交易的新模式將會是未來的趨勢。 9

10 三、系統平台說明(1/1) 「得來速訂單收費系統」的發展平台規格： Windows 7 or XP
AppServ (Apache、MySQL、PHP ) 「手持式與固定式兩用之自動車牌辨識裝置」的發展平台規格： Qualcomm QSD GHz Touch screen 5M camera with auto focus and LED flash Wi-Fi、3G WCDMA、Quad-band GSM 512 MB ROM MB RAM + 4 GB SD Card (up to 32 GB) 10

11 四、系統設計說明(1/12) 本作品自行研發與實作的「得來速訂單收費系統」是實作於MySQL資料庫與PHP網頁程式上：
提供消費者下訂單的網頁介面 資料庫網頁結合車牌辨識裝置，來存取記錄消費者的車牌號碼 在資料庫中比對消費者車牌與訂單 提供服務員監看來訪的消費者訂單 11

12 四、系統設計說明(2/12) 本作品自行研發與實作的「手持式與固定式兩用之自動車牌辨識裝置」，有以下八大技術特色：
「精巧」的Wiener車牌垂直邊緣強化技術 「精準」的Plate+Character車牌定位技術 「智慧」的CIELAB車牌底色判別技術 「理想」的EDP車牌字元陰影消除技術 「有效」的VEHPHS車牌邊界髒污去除技術 「客製」的Tesseract OCR車牌字元辨識技術 「優化」的Android Java Native Interface (JNI)實作技巧 「省電」的Android嵌入式車牌辨識與記錄裝置實作 12

13 四、系統設計說明(3/12) CIELAB車牌底色判別 Plate+Character車牌定位 Tesseract OCR車牌字元辨識
架設在得來速車道入口的「手持式與固定式兩用之自動車牌辨識裝置」不斷地擷取影像，並使用車牌定位系統(License Plate Detection, LPD)定位出車牌，再針對影像做前置處理，最後經由字元辨識系統(Optical Character Recognition, OCR)辨識出車牌資訊。 CIELAB車牌底色判別 Plate+Character車牌定位 Tesseract OCR車牌字元辨識 EDP車牌字元陰影消除 VEHPHS車牌邊界髒污去除 Wiener車牌垂直邊緣強化 13

14 四、系統設計說明(4/12) Wiener車牌垂直邊緣強化技術：
14

15 四、系統設計說明(5/12) Plate+Character車牌定位：
本作品使用的車牌定位演算法以AdaBoost車牌偵測方法為主，垂直邊緣(HL1 Vertical Edge)車牌偵測方法為輔，其中AdaBoost車牌偵測方法又分為Plate-Based AdaBoost車牌偵測方法與Character-Based AdaBoost車牌偵測方法，前者為偵測出可能是車牌的零至多個候選區域，再以後者偵測出的車牌字元進行驗證，便可從這些候選區域中過濾出車牌的偵測結果，如果前者未偵測出候選區域或後者的驗證結果未輸出車牌，則輔以垂直邊緣車牌偵測方法再偵測一次。 15

16 四、系統設計說明(6/12) CIELAB車牌底色判別技術：
16

17 四、系統設計說明(7/12) EDP車牌字元陰影消除技術：
定位完成的車牌候選區域，將偵測二值化影像的邊緣密度分佈，若車牌候選區域有陰影的影響，藉由分離邊緣密集區域，區分出陰影區域與非陰影區域，並分別針對陰影區域與非陰影區域做二值化處理，將可以有效率地消除陰影，並得到理想的二值化影像。 17

18 四、系統設計說明(8/12) VEHPHS車牌邊界髒污去除技術：
統計定位後的車牌影像的垂直邊緣的水平方向投影直方圖，再透過Fill-in與Connected Component Labeling方法來切割消除車牌字元區域的上下左右四側的邊界髒污，以降低車牌邊界髒污對車牌字元辨識準確度的影響。 18

19 四、系統設計說明(9/12) 客製化Tesseract OCR車牌字元辨識技術：
Google重新發佈的開源碼程式庫，由於Tesseract OCR的資料庫是預設用來辨識一般文件的字型。如果要應用於類似MS UI Gothic粗體字型的台灣車牌特殊字元會容易產生辨識錯誤的問題，所以必須預先訓練特定的英文與數字車牌字元，並建置車牌字元的資料庫，更能提升本作品的車牌字元辨識準確率。 輸入車牌圖像 使用原始字體檔為資料庫 使用客製化字體檔為資料庫 19

20 四、系統設計說明(10/12) Android Java Native Interface (JNI)實作技巧：Java獲得廣泛應用的最大阻礙因素是Java程式的運行效率，因為Java是介於解釋型和編譯型之間的一種語言，同樣的程式，如果用編譯型語言C來實現，其運行速度一般要Java快一倍以上。該技術試圖通過把Java原始程式直接編譯成機器碼，使用以充分利用Java動態編譯和靜態編譯技術來提高Java的性能。該方法把輸入的Java源碼或位元組碼轉換爲經過高度優化的可執行代碼和動態庫，該技術能大大提高程式的性能，而另一個目的是爲了充分利用大量原有的C程式庫。 Android嵌入式車牌辨識與記錄裝置：基於Linux作業系統所開發，而提供的核心系統服務有安全性管理、記憶體管理、行程管理、網路堆疊、驅動程式模組與電源管理等，可達成有效率且省電的Android嵌入式車牌辨識實作，以實現「手持式與固定式兩用之自動車牌辨識裝置」。 20

21 四、系統設計說明(11/12) Android嵌入式系統實作 VVR模組： (1)呼叫Camera的API；
(4)進入LPD模組。 LPD模組： (5)透過JNI介面呼叫； (6)OpenCV完成車牌區域定位； (7)回到LPD模組； (8)進入OCR模組。 21

22 四、系統設計說明(12/12) Android嵌入式系統實作 OCR模組： (9)透過JNI介面呼叫；
(10)Tesseract OCR字元辨識；(11)回到OCR模組； (12)進入DTO模組。 DTO模組： (13)記錄車牌字元，呼叫WiFi/3G驅動程式模組； (14)車牌字元回傳到資料庫，比對消費者的網路訂單； (15)在服務終端裝置顯示消費者的訂單需求。 22

23 五、系統測試(1/1) 允許多個消費者同時登入「得來速訂單收費系統」來預先下訂單。消費者的車牌號碼經由車牌辨識後，訂單需求會即時地顯示在「得來速訂單收費系統」上。 「手持式與固定式兩用之自動車牌辨識裝置」之車牌定位率與字元辨識率分別超過99%與98%，而且在Android智慧型手機平台上的每張畫面執行時間約0.7秒。 23

24 六、系統功能說明展示(1/1) 「具備車牌辨識功能的快速得來速服務」作品展示： 24