手持裝置應用系統之設計 與未來發展 黃有評 大同大學 資訊工程系.

Presentation on theme: "手持裝置應用系統之設計 與未來發展 黃有評 大同大學 資訊工程系."— Presentation transcript:

1 手持裝置應用系統之設計 與未來發展 黃有評 大同大學 資訊工程系

2 內容 研發動機 理論技術與設計要點 導覽與學習系統建置（以關渡自然公園為例） RFID技術及應用 麥當勞得來速點餐系統
車牌辨識系統（停車管理拍立得、路況監測系統） 鳥類檢索系統（e 機在手，鳥趣無窮、emome） 結論與未來展望

3 研發動機 因應無線網路與第三代行動通訊（3G）的發展，以手持裝置為基礎開發各種應用程式，讓使用者能夠充份的感受到無線環境和手持裝置所帶來的便利性。 如何提升新產品附加價值? 主要開發平台：PDA、Tablet PC、WebPad 及手機平台。

4 Visual Memory

5 Visual Memory 與 Moving Speed

6 Tablet PC & WebPad 之便利性 Tablet PC： 手寫辨識與畫筆功能，利於圖文輸入與講解。
硬體、作業系統與一般電腦幾乎相同，利於系統開發。 WebPad： 觸控式螢幕，不需滑鼠或光筆即可輕易控制。 耐碰撞、重量輕、大小適中、攜帶方便。 採用 Embedded Windows XP 系統。

7 理論與技術背景 Data mining （資料探勘） Genetic algorithm （基因演算法）
BPN（類神經網路 – 倒傳遞網路） Information retrieval （資訊檢索） models: QBIC, CBIR RFID（無線射頻識別系統） Location-awareness

8 基本設計概念 No keyword is needed. Click and select input.
Simple, flexible, easy to use for indoor and outdoor activity. Passive & active search. Interactive learning.

9 導覽與學習系統建置 （以關渡自然公園為例）
實例一 導覽與學習系統建置 （以關渡自然公園為例）

10 系統架構（單機使用） 單機使用除了搜尋鳥類資訊外，也可以透過 GPRS或無線網路，到網站上使用加值服務，如：桌布下載、圖片下載、影片串流服務等等。 搜尋系統所使用的技術

11 系統架構（學習群組模式）

12 主要功能 智慧型搜尋機制 我們設計一個直覺式鳥類搜尋介面，使用者利用自己所看到的鳥類特徵，如體型、顏色、嘴形、飛行模式等特徵進行搜尋，透過簡易的介面與直覺化的查詢方式，找出想深入了解的鳥類的相關資訊。 使用技術：類神經網路 – 倒傳遞網路（BPN）

13 主要功能 系統推薦機制 系統針對使用者在特定區域查詢過的鳥類，透過資料探勘與關聯法則技術，建立推薦機制，主動推播同一區的其他鳥類資訊給使用者。如此一來，就算使用者無法親眼看見某些鳥類，也可以了解系統推薦的鳥類與其他鳥類的群聚關係。 使用技術：Data Mining - Apriori-like 演算法

14 主要功能 RFID 學習與導覽機制 目前 RFID 技術已經廣泛的使用在物流與導覽系統中，所以我們的系統也加入 RFID 技術，結合主動的導覽方式提供更多互動的學習機制。 使用技術：RFID

15 開發環境 硬體需求 操作環境：PDA 手機、Smart Phone、Tablet PC
使用平台：Pocket PC 2002 and 2003（PDA 手機） 　　　　　Pocket PC Smart Phone Edition（Smart Phone） 　　　　　Windows XP Tablet PC Edition 通訊方式：GPRS、Wireless Network 其他配備：RFID Reader、RFID Tag、CCD Camera

16 開發環境 軟體需求 Client 端開發環境：Windows Embedded Visual C++ 4.0
Server 端開發環境：Borland C++ Builder 6.0 Apache Server、PHP 資料庫相關：Pocket Access、MySQL Server、ADOCE 3.1

17 系統介面

18 系統介面

19 系統介面

20 實驗與評估 實際環境使用測試：2002 年於華江雁鴨公園雁鴨季活動，實際測試我們的系統，並搜集使用者操作記錄。

21 實驗與評估 實際環境使用測試：2004 年我們在關渡自然公園國際賞鳥博覽會，針對不同年齡層使用者進行教學。

22 本系統之優點 利用PDA手機即可隨時隨地進行鳥類檢索。 利用上下左右按鍵進行特徵點選，免除需以文字或語言輸入之困擾。
結合Tablet PC 實現導覽系統與互動式學習環境。 系統具備圖案淺顯易懂、輸入簡單、可依不同場合或環境迅速變更搜尋模型及容易學習使用等優點。 結合 RFID 提供互動式學習(例如：學習護照)，更可定位出使用者所在區域。

23 實例二 RFID技術及應用

24 什麼是RFID 起源： RFID Radio Frequency Identification 無線射頻識別

25 什麼是RFID Tag外觀：各式各樣* 理由： 貼紙可黏貼在物體表面。 膠囊植入動物體內。 名片方便收藏在皮夾。
鹽粒結晶嵌入紙張夾層。 直尺、棒子、鑰匙圈、吊飾…等。 理由： 記錄比目前普遍使用的條碼更多資訊。 無線傳輸方式，可為零售商、物流倉儲等商業應用減少許多開銷。 針對特殊應用或環境來設計RFID Tag，使得以往無法使用條碼的工作環境，也可以利用RFID來提升效率。

26 什麼是RFID 資料讀取 條碼是利用雷射等光學讀取器，將掃瞄光源照射在條碼上進行讀取，所以條件是距離不能過長，而且在讀取器與條碼之間不能有物體阻擋，才能有效的辨識讀取。 RFID則是利用RF射頻的方式來進行讀取，只要RFID Tag在射頻電波發射的範圍內，就可以讀取到資料。

27 e 博物館導覽 數位導覽不是要取代文物導覽，而是輔助參觀者的學習 透過RFID感應，取得介紹資訊 Server RFID DB WLAN
Content DB Introduce / Recommend e Visitor Log Visitors Web Browser Exhibition with RFID tag

28 實例三 麥當勞得來速點餐系統

29 Location-awareness

30 技術與原理 顧客使用WebPad 點餐後，系統會統計出使用者的需求，提供金額與份量等相關資訊，經確認後，透過無線網路傳遞到Server 端資料庫，擷取出資料庫中的有效資訊，利用資料探勘技術處理後將資料分類儲存並提供個人化服務，達到對內有效控管原料及工作進度，對外提供顧客更好的服務。

31 開發環境 程式語言：PHP Language 、Java Script、ActiveX 資料庫：MySQL Server
語音轉換：Microsoft Speech SDK 5.1 執行方式：只需透過 IE 連線到後端即可

32 點餐介面 單點套餐 切換 商品列表 已點購 餐點 商品熱量成份資訊 確認訂單

33 廚房及交易櫃檯訊息畫面 可供廚房備餐及交易櫃檯查詢、結帳

34 廚房語音播放畫面

35 個人化點餐系統 ‧開發於 PDA 無線點餐系統： (a)點餐畫面 (b)推薦商品 (c)確認商品 (d)待餐編號

36 研發方向 現行架構雖以點餐為主，然因後端嵌入資料探勘技術，配合資料庫的資料，找出餐點間的關聯、甚至消費族群、消費習慣等商業資訊，配合推出優惠方案，增加商機。 將系統搭配本實驗室研發之智慧型搜尋系統，提供顧客在點餐等待時間可以隨時隨地搜尋植物、鳥類、魚類、餐點營養成份等資訊。 結合text-to-speech技術，直接播放點餐資訊，以利廚房人員備餐。以語音輸入直接點餐亦在研發中。

37 實例四之一 車牌辨識系統 （停車管理拍立得）

38 系統架構 車牌影像 辨識系統 停車資料 停車管理 贓車協尋 牌照稅管理 資料庫 線上通報 Users WAP 手機查詢 網頁查詢
PHS 上網 停車資料 Capture Image Internet 停車管理 贓車協尋 牌照稅管理 資料庫 線上通報 Fuzzy Motors Police Station

39 開發動機 以個人電腦為平台之「車牌辨識」的技術雖已成熟，且己廣泛應用於停車場管理或門禁監控上，但實作於 PDA 上之辨識系統卻付之闕如，但其確有實用性的需求。 結合 PDA 與外掛 CCD Camera 與無線網路卡，並展現手持裝置高度的移動性與可攜性。 提升傳統的收費與管理效率，減少人為書寫之錯誤，同時允許使用者上網查詢。

40 系統功能 我們的系統針對「路邊停車」與特定區域停車場的議題提出一完整的架構。本系統包括下列幾項主要的功能： 車牌辨識（即時性 & 非即時性）
簡潔之操作與管理介面 贓車協尋與查報系統 牌照稅催繳與罰款通知 查詢介面（WAP 手機 & 網頁）

41 原理與技術 車牌辨識：車牌辨識的處理程序包含四個主要的模組，每個模組也都相對於一個主要的處理步驟。 步驟一：車牌的定位 步驟二：影像處理
步驟三：文字切割 步驟四：文字的比對

42 原理與技術 車牌辨識：流程圖 Step 1 原始圖檔 Step 2 找出車牌 Step 3 相關處理 Step 4 車牌辨識 圖檔
Capture Original Image from CCD Camera Use Prewit method If > Threshold possible position 1. Zoom image 2. Binary 3. Divide number 4. Histogram equalizing 1. Character recognition If > Threshold modify result Else Show the probable license number 圖檔

43 原理與技術 類神經網路：本系統車牌辨識方式是利用類神經網路中常用之倒傳遞網路模型來實作，以進行車牌整體辨識工作。
協助辨識 0 與O、8 與 3、B 等，非常相近的圖案。 　例如： 影像處理技術 →

44 開發環境 軟體需求 硬體需求 無線環境需求 開發平台：Windows CE 開發軟體：Pocket PC 2002 SDK
　　Embedded Visual C 3.0 　　Embedded Visual Basic 3.0 　　MySQL 硬體需求 　PC 、PDA、Access Point、CCD Camera、無線網卡 無線環境需求 　IEEE b

45 系統介面

46 實測結果 系統辨識率? 不傾斜角度 約70~95% 傾斜角度限制 約15度以內，以上則以車牌影像扭曲情況而定
針對相似數字提供三個候選鍵，正確率達 80% 夜晚使用需依光線亮度而定 Client 端辨識 1 秒以內 Server 端辨識 3 秒以內

47 現有產品比較 現有系統 車牌不需逐字點選 需個別選擇車種、顏色 沒有照片佐證 問題：無法辨識的霸王車牌?

48 比賽花絮 Happy Ending，雖沒拿到100萬， 但昨晚泡麵我們吃夠本了！

49 實例四之二 車牌辨識系統 （路況監測系統）

50 動機 即時車牌辨識系統 動態影像處理 系統自動化 即時性

51 動機 大部分車牌辨識使用的方式 提出的車牌辨識方式 人工方式擷取靜態圖片 系統動態影像偵測擷取圖片 缺點：無法快速辨識與即時傳遞重要資訊
優點：能夠快速辨識與即時傳遞重要資訊

52 目標 車牌辨識系統整合 全自動化 即時停車管理、贓車協尋、超速舉發等用途 引入倒傳遞網路模型 預期效率 時間：1 sec 效果：90 %

53 系統架構 前處理、車牌定位 影像擷取 字元切割 攝影機 顯示辨識結果 文字辨識

54 車輛影像擷取 像素相減法 影片畫格 擷取速率 判斷畫格像素差 30 frames / sec 1次 / 100ms

55 車牌定位 輸入 輸出 Prewitt matrix Search window 車牌圖像 車輛圖像

56 車牌定位 Prewitt Search Window 突顯出黑白像素變化較大處 與車牌特性類似
累計值較大處

57 字元切割 圖片掃描→縮小範圍→文字定位→切割取出 縮小範圍 (雜訊濾除) 直方圖累計 去除雜訊邊界 (上方的發牌縣市、鎖車牌的鏍帽)
切出車牌文字的上下緣後，定位出字元區域，再利用垂直的直方圖累計切割出每個文字方塊

58 字元切割 採比例門檻 y[i] / y[i - 1] > 1.5 整張車牌的文字上下緣特性為直方圖累計值較高處

59 辨識字元 樣本預先分類 正規化影像字元 直方圖統計值 字元編碼 英文字母A~Z及數字0~9共36組作為基本原型字組
增加1%、2%、5%雜訊字元模型 增加1~5度傾斜角度字元模型 正規化影像字元 高 50 pixels 寬 26 pixels 直方圖統計值 共76筆資料 字元編碼 6 bits

60 辨識後之處理 回傳給後端使用者 系統偵測到之車牌影像 辨識出來的車牌號碼 外力影響 使用者以人工方式加以校對 避免漏失重要資訊

61 研發方向 監控系統之整合 鄰里安全 超速偵測 資訊之即時傳遞 線上警網 欠稅資料

62 實例五之ㄧ 鳥類檢索系統 （e 機在手，鳥趣無窮）

63 動機 希望以Java手機結合Server建構一個行動式的學習環境，利用手持裝置之便利性，提供無所不在的學習之旅。
透過簡單明瞭的圖形與按鍵設計，建立使用者易於操作的介面，方便使用者做搜尋的動作。 提出一個搜尋系統的模型，可迅速套用至其他應用上，不侷限於鳥類搜尋的範圍。 Example: 植物、商品、藥物、導覽等。

64 系統架構 鳥類生態自然公園 Record Management System Association Rule BP Network
GPRS Database 鳥類生態自然公園 Java Cellular Phone Server

65 開發環境 硬體需求：PC、Nokia 7610。 開發平台： 用戶端：Symbian 60系列 (Java手機) 伺服器端：Windows XP (PC) 開發軟體： 用戶端 JBuilderX、Wireless_toolkit-22、 Series_60_Platform_2nd_Ed_FP1、 ActivePerl 伺服器端 JDK 1.5.0_05、Tomcat 5.5.9 通訊方式：GPRS。

66 系統功能 我們的系統對「鳥類搜尋」提出一個完整的架構。本系統包括下列幾項主要的功能： 以輸入鳥類名稱的方式做關鍵字檢索
利用圖片特徵勾選的方式做特徵檢索 行動式教學環境 生態筆記 系統推薦機制 記錄使用者資料與搜尋記錄探勘

67 系統功能-文字搜尋與特徵搜尋 文字搜尋：輸入鳥名，做關鍵字搜尋。 特徵搜尋：六個圖片特徵中至少選擇一項。 體型： (體型大、體型小)
體型： (體型大、體型小) 嘴形： (鉤形、彎錐形、雞鴨形、長形) 飛行： (盤旋式、直線式、波滾式) 行走： (步行、跳躍) 顏色： (深色、淺色、紅褐色、綠色) 足型： (長腳、短腳)

68 系統功能-行動式教學環境 適合室內(ex. 博物館)與戶外(ex. 動物園)使用。
注入行動教室的概念，可使用手機欣賞影像、聲音、文字、圖片等資源，兼具在室內講授的教學品質與戶外學習的樂趣。

69 系統功能-生態筆記 格式 主題 地點 時間格式(Thu, 13 Oct 2005 17:04:02 GMT+8) 心得內容
使用者查詢生態筆記記錄時，系統會依主題排序供使用者選擇。

70 系統功能-系統推薦機制 透過Data mining中Apriori-like演算法進行探勘，找出鳥類與區域之間的關聯。
建立推薦模型，主動推薦使用者搜尋之鳥類所在區域的其他鳥類。 九大區域： 水域、中低海拔空曠林區、平地、平地樹林底處、田地、沿海、低山區草叢、河川或溪流、中低海拔樹叢

71 系統功能-系統推薦機制 特徵： 將搜尋條件丟給資料庫做搜尋 嘴形→雞鴨形嘴 Database User Server query

72 系統功能-系統推薦機制 Database 交易記錄為 T1={綠頭鴨}向資料庫做搜尋 點選： User Server 綠頭鴨 query
首先，利用Minimum spanning tree演算法將S分成幾個群組。 再使用Apriori-like演算法從每一 群組中找出Large item set與有 效的關聯法則。 Large item set即表示同一區域 中較容易聚在一起的鳥類。 Example: 找到規則 R1={綠頭鴨, 花嘴鴨, 小水鴨}皆是 位於水域。 交易記錄為 T1={綠頭鴨}向資料庫做搜尋 Server User query 點選： 綠頭鴨 將搜尋結果回傳給Server Server推薦花嘴鴨與小水鴨給使用者

73 系統功能- 記錄使用者資料與搜尋記錄探勘 使用者帳號、密碼寫入資料庫。 將搜尋記錄寫入資料庫，每一位使用者最多可記錄最近30筆鳥類搜尋記錄。
使用者透過輸入之帳號與密碼之比對，可從資料庫取得過去30筆搜尋記錄。 回傳搜尋記錄至用戶端。

74 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

75 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

76 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

77 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

78 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

79 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

80 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

81 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

82 研發方向 系統功能 3G 手機平台移植 串流影片 語音記錄 人機互動教學

83 比賽花絮

84 實例五之二 鳥類檢索系統 （emome）

85 目標 以Java手機結合Server建構一個行動式的學習環境，利用手持裝置之便利性，提供無所不在的學習之旅。
透過簡單明瞭的圖形與按鍵設計，建立使用者易於操作的介面，方便使用者做搜尋的動作。 提出一個搜尋系統的模型，可迅速套用至其他應用上，不侷限於鳥類搜尋的範圍。 Example: 植物、商品、藥物、導覽等。

86 系統架構 鳥類生態自然公園 Record Management System Association Rule BP Network
GPRS Database 鳥類生態自然公園 Java Cellular Phone Server

87 特徵搜尋 文字搜尋：輸入鳥名，做關鍵字搜尋。 特徵搜尋：六個圖片特徵中至少選擇一項。 體型： (體型大、體型小)
體型： (體型大、體型小) 嘴形： (鉤形、彎錐形、雞鴨形、長形) 飛行： (盤旋式、直線式、波滾式) 行走： (步行、跳躍) 顏色： (深色、淺色、紅褐色、綠色) 足型： (長腳、短腳)

88 雛型畫面-查詢

89 雛型畫面-加值

90 用功、用功、再用功 總是會有收穫的 Thank You