指導老師：陳弘明、陳世穎 老師 國立臺中科技大學資訊工程系

Presentation on theme: "指導老師：陳弘明、陳世穎 老師 國立臺中科技大學資訊工程系"— Presentation transcript:

1 指導老師：陳弘明、陳世穎 老師 國立臺中科技大學資訊工程系
教育部資訊軟體人才培育計畫 「行動終端應用軟體創作專題競賽」報告 腦波反饋情緒評分系統 系統規劃工程師 鄭庭兆 演算法工程師 王俊凱 物件設計工程師 陳詠祺 整合工程師 秦秉達 指導老師：陳弘明、陳世穎 老師 國立臺中科技大學資訊工程系

2 目錄 作品動機與簡介 開發動機 作品簡介 系統範圍 需求分析 需求功能說明 雛形系統摘述、軟體發展方法 系統軟硬體架構說明 系統設計
作品動機與簡介 開發動機 作品簡介 系統範圍 需求分析 需求功能說明 雛形系統摘述、軟體發展方法 系統軟硬體架構說明 系統設計 軟體模組設計 介面設計 資料結構、資料庫設計 演算法設計 軟體測試報告 單元測試 整合測試 系統測試 使用者驗收測試 軟體體驗報告 系統功能說明展示 結語

3 作品動機與簡介-開發動機 傳統情緒研究並無客制化服務 傳統情緒研究並無針對特定情緒做反饋機制
設計並施行由情緒引發的實驗，作為發展生理訊號偵測與感知研究之參考。

4 作品動機與簡介-作品簡介(1/2) 結合Android智慧型手機與腦波測量耳機，量測使用者腦波數據。
訓練模式 分析在聽音樂或觀看影片、相片…等等舒壓動作時的腦波狀態，對於情緒之影響力評分 。 即時模式 用即時語音或文字的方式，會對你的情緒給予相對的語音或文字，能藉此即時調整自己的情緒狀態。

5 作品動機與簡介-作品簡介(2/2)

6 作品動機與簡介-系統範圍 本系統提供訓練模式（Training Mode）、即時模式（Real-Time Mode），訓練模式包含：音樂、影片、相片評測系統，以及資料庫系統。 訓練模式（Training Mode） （1）音樂子系統 （2）影片子系統 （3）相片子系統 （4）資料庫系統 即時模式（Real-Time Mode） 利用折線圖呈現腦波狀態，提供專心度（Attention）、放鬆度（Mediation） 即時顯示於畫面上，並提示進入某一情緒狀態，如圖3.2.1所示。

7 需求分析-需求功能說明 功能需求 1.系統主畫面（中） 2.系統標題列（上） 3.系統工具列（下） 4.腦波測量耳機狀態 5.訓練模式 6.歷史量測紀錄 7.即時模式 介面需求 版面配置的部分成三個架構，切割為上、中、下，上為標題列控制項，中為畫面呈現，下為演算法控制項。上、下畫面始終固定，只切換中畫面為主。

8 需求分析- 雛形系統摘述、軟體發展方法 雛形系統摘述
設計方法應依照需求分析做畫面或系統切割，理念以操作簡潔、一覽無遺的方式將各單元呈現在畫面上，且在訓練模式、即時模式間方便切換。 軟體發展方法 腦波反饋情緒控制之消費性手持裝置開發，需採用MVC(Model-View-Controller)架構，提高程式彈性設計。

9 需求分析- 系統軟硬體架構說明(1/3) 硬體架構 Neurosky Mindset 腦波測量耳機
透過ThinkGear晶片 Linrary TGdevice抓取腦波狀態

10 需求分析- 系統軟硬體架構說明(2/3) 軟體架構

11 需求分析- 系統軟硬體架構說明(3/3) 程式物件架構

12 系統設計-軟體模組設計(1/2) 訓練模式（循序圖） 即時模式（循序圖）

13 系統設計-軟體模組設計(2/2) 訓練模式（UI介面） 即時模式（ UI介面）

14 系統設計-介面設計 特色： 1.快速切換娛樂系統 2.使用者操作方便 3.專業的介面設計

15 系統設計-資料結構、資料庫設計 全域變數資料結構設計表 音樂資料庫子系統設計表（以音樂為例） 編號 資料名稱 資料型態 說明 1
PAGE_INDEX 整數 當前畫面 2 Brainwave_Attention 專心度 3 Brainwave_Mediation 放鬆度 4 Brainwave_PoorSignal 腦波耳機訊號 5 Att_Algorithm 布林 專心演算法 6 Med_Algorithm 放鬆演算法 Pre_Algorithm 壓力演算法 Sleep_Algorithm 打瞌睡演算法 music_table_name 欄位名稱 範例 _id(PK) 1 name(not null) 鄭庭兆 object(not null) 音樂評測系統 object_name(not null) 劉德華-忘情水 attention_score 100 mediation_score 50 pressure_score 80 sad_score 70 sleep_score 60

16 系統設計-演算法設計 Katie Crowley, Aidan Sliney, Ian Pitt和Dave Murphy（2010）的研究中計算對於放鬆度（Mediation）和專心度（Attention）的強度，如下表所示： 判別區間條件式 情緒強度區間 If (X >= 25) Poor Attention - Stressed If (10 < X < 25) Normal Attention - Calm If (X <= 10) High Attention - Very Calm Reference: Katie Crowley, Aidan Sliney, Ian Pitt, Dave Murphy. Evaluating a Brain-Computer Interface to Categorise Human Emotional Response, th IEEE International Conference on　Advanced Learning Technologies,

17 軟體測試報告-單元測試(1/2) 測試之環境： 硬體： 1.Android版本4.1以上之智慧型手持裝置。
2.大寶科技代理之NeuroSky腦波測量儀器。 軟體： Eclipse-Android套件。 測試之方法： 將本專案系統劃分成七大項子系統，並將各個子系統再細分為多個模組，各個模組內又由多個單元所組成。測試內容包含單元測試、整合測試、系統測試、驗收測試、多任務測試、臨界測試、中斷測試、壓力測試等。

18 軟體測試報告-單元測試(2/2) 單元測試列表 單元名稱 測試名稱 測試介紹 1.系統主畫面（中） 畫面呈現單元 載入各單元相關畫面
測試各單元內容是否能正常顯示 2.系統標題列（上） 標題文字單元 圖文顯示測試 必須顯示公司名稱 腦波耳機狀態單元 腦波耳機狀態測試 連線腦波測量耳機，應測得腦波數據 畫面切換單元 頁面返回載入測試 切換各種單元，測試返回和載入 3.系統工具列（下） 情緒演算法單元 演算法測試 為專心、放鬆、壓力、打瞌睡評分演算法 量測單元 測量腦波數據 判斷是否正確抓取到腦波數據 紀錄單元 紀錄測試 根據演算法進行評分，並能儲存評分結果 4.腦波測量耳機狀態 耳機連線單元 連線測試 將腦波測量耳機與智慧型手機連線 耳機斷線單元 斷線測試 將腦波測量耳機與智慧型手機斷線 耳機搜尋單元 搜尋測試 搜尋附近腦波測量耳機裝置 腦波數據存取單元 數據存取測試 抓取腦波數據並顯示 5.訓練模式 娛樂單元 娛樂主題測試 各娛樂單元，音樂、影片、相片需載入播放器功能 6.歷史量測紀錄 SQLite存取單元 資料庫存取測試 取出資料庫數據並顯示 資料排版單元 資料庫排版測試 排版位置及內容需正確 資料編輯單元 資料庫編輯測試 資料必須能夠修改、刪除 7.即時模式 繪圖單元 繪圖測試 必須呈現紅色（專心度）、藍色（放鬆度）摺線圖 語音單元 語音測試 超過門檻值呈現語音 文字單元 文字測試 超過門檻值呈現文字 演算法單元 門檻值驗證

19 軟體測試報告-整合測試 整合測試列表 子系統名稱 測試名稱 測試介紹 系統主畫面（中） 載入訓練模式或即時模式 載入訓練模式需呈現娛樂單元
系統主畫面（上） 標題列與腦波耳機狀態和頁面控制整合 能夠即時顯示腦波狀態，且切換畫面能夠返回 系統主畫面（下） 演算法與量測單元整合 演算法需配合量測單元，且針對選擇的演算法進行評分 腦波測量耳機狀態 連線、斷線、搜尋、顯示數據整合 當連線成功，就能夠即時顯示量測的數據內容 訓練模式 與娛樂單元整合 將娛樂單元的icon及畫面顯示於訓練模式中 歷史量測紀錄 SQLite整合編輯、刪除、排版單元 將SQLite內容取出並顯示，且能夠做修改、刪除 即時模式 繪圖、語音、文字、演算法整合 在繪圖的同時，能夠透過演算法，呈現語音或文字

20 軟體測試報告-系統測試 系統測試列表 系統名稱 測試名稱 測試介紹 腦波反饋情緒控制之消費性手持裝置開發 儲存測試
測試系統是否滿足主記憶體與輔助記憶體的使用限制。 設備測試 所有設備都已整合納入，並且能順利運作。 文件測試 驗證使用者文件之正確性 耐久測試 在極端操作模式下進行操作。 可靠測試 測試軟體在規範規範條件與時間內完成規範的功能。 回復測試 用各種方法將系統軟體用至失效，並檢驗是否會回復到正常狀態的能力。

21 軟體測試報告-使用者驗收測試 驗收測試列表 系統名稱 測試名稱 測試介紹 腦波反饋情緒控制之消費性手持裝置開發 Alpha測試
由軟體開發人員指導受測者進行系統操作，開發者記錄使用者錯誤與問題。 Beta測試 由使用者自由操作，開發者並不在現場，最後由使用者將錯誤與問題交至給開發者。

22 軟體測試報告-軟體體驗報告(1/3) 以舊版介面做軟體體驗報告及問卷調查分析 22

23 軟體測試報告-軟體體驗報告(2/3) 分為三部份做實驗： 第一部份有具體的APP實驗(體驗)報告來支持使用行為。 第二部份有具體的APP實驗(體驗)報告，做為KPI，以支持使用者行為之調整基礎。 第三部份將分析優缺點。 第二部份分為七個構面做分析，以介面設計為例 介面設計中，介面設計會讓使用者感到疲憊以不同意(50%)為多數，則讓使用者喜歡介面設計的顏色以同意(50%)居多，另外介面的位置擺設和設計風格皆以同意(40%)、普通(40%)為多數。

24 軟體測試報告-軟體體驗報告(3/3) 第三部份： 經由上面兩大部分整理出以下幾個優缺點： 優點
1.操作「腦波反饋情緒評分系統」介面簡單、容易了解。 2. 「腦波反饋情緒評分系統」的介面操作方式合乎使用者習慣。 3. 「腦波反饋情緒評分系統」的介面操作流暢、快速。 4. 「腦波反饋情緒評分系統」的介面風格、顏色另使用者喜歡。 缺點 1. 「腦波反饋情緒評分系統」的介面功能不齊全。 2. 「腦波反饋情緒評分系統」的介面擺設位置並沒有很好。 結論： 「腦波反饋情緒評分系統」在介面設計方式對於使用者來說是簡單、清楚、能快速上手，相信在設計完整的介面功能以及修改介面擺設位置，會再改善使用者的操作意願及喜好度。

25 系統功能說明展示 訓練模式 即時模式

26 結語 本案已獲得多家廠商作為框架使用，包含「可口可樂」、 「精油紓壓」 、 「廣告評測」 ，為使用者量身製作廣告或精油。
本案與大寶科技公司產學合作且通過台中市政府地方型SBIR產業推動計畫。 商業技術與價值 思考如何將情緒有別於以往方式反饋給使用者，本案中，運用腦波量耳機結合APP開發情緒控制系統。 系統後續維護 導入軟工概念，再延續專案時，使得後續開發者能夠快速加入開發。

27 Thanks for your Attention