數位家庭中的人機介面研究

Attentive User Interface (AUI) ["Attentive User Interfaces" by Roel Vertegaal, CACM 2003 ] AUIs use specific input, output and turn-taking techniques to determine what task, device or person a user is attending to. This is done by detecting a user’s presence, orientation, speech activity and gaze and statistically modeling attention and interaction in order to establish the relevance of information that could be presented to the user and the urgency of doing so in the context of the current estimated activity.

Outline 背景說明 人機介面分類 主要問題與核心技術 未來發展趨勢與挑戰 結論

人機關係的重大改變 數量 距離 環境 使用者心理

數量 人與機器的關係: 一對多或多對多 使用者的注意對象或焦點不再有明確定義 必須釐清混淆狀況 必須解決衝突 必須修正錯誤 One-to-many Many-to-many 人與機器的關係: 一對多或多對多 使用者的注意對象或焦點不再有明確定義 必須釐清混淆狀況 必須解決衝突 必須修正錯誤

距離 可碰觸的 短距離可感應或偵測的 中長距離可感應或偵測的

環境 家庭不同於辦公室、工廠或是實驗室，突發性的變因遠高過前述環境。 如何在混亂的環境中建立起有序的內部模型，並仍能提供使用者適當的協助，是個很具挑戰性的議題。

使用者心理(Meyer) 安全感(safe) 心理支持(supportive) 方便性(convenient) 舒適性(pleasant) 愉悅的(enjoyable) 娛樂性(entertaining) 放鬆性(relaxing)

人機介面分類

HCI: 互動模式 Explicit Implicit (non-command interface) External devices (remote control) Audio: voice commands. Visual: gesture-based commands. Multimodal user interface. Implicit (non-command interface) Attentive user interface(體貼式) Affective user interface (情意式)

相關研究領域 Related fields: cognitive science, psychology, ergonomics, human-computer interaction, sociology, psychosociology. CS technologies: signal processing, pattern recognition, computer vision, natural language processing, motion detection, gesture analysis, user interfaces design.

研究議題 使用者姿勢辨識(User gesture recognition) 使用者注意力偵測(User attention perception) 使用者注意力建模(User attention modeling) 使用者狀態偵測(User status detection) 引起使用者注意的方式(Getting user’s attention) 使用者介面設計(User interface design) 指令協調與資源優先權仲裁(Command coordination and resource priority arbitration) 代理人介面設計(Agent interface design)

使用者姿勢辨識 手勢 肢體動作 身體其他部位

使用者注意力偵測 重點:研究使用者注視的對象，而較不需要偵測專心程度。 使用視訊、音訊或綜合兩者。 例如:頭部的方位能夠用來預測使用者的焦點，再配合眼睛注視的方向，可以更精確的瞭解使用者的意圖。

使用者注意力建模 歸納可能影響使用者注意力的各項變因，尋找這些變因(狀態參數)的關聯性，進而預測使用者的專注程度。 瞭解使用者的注意力是否已經過載。 設計一個可以引起使用者注意的系統並確認訊息傳達到使用者端。

使用者狀態偵測 泛指使用者生、心理狀態 清醒或昏睡 極端情緒表達 站立或坐姿或跌倒 特定動作型態 異常活動或狀態

引起使用者注意的方式 引起使用者注意的方式，包括了利用視覺、聽覺、力回饋裝置以及其他知覺。 視覺的議題包括如何在同一個畫面呈現不同的訊息而不相互干擾、如何在不同的顯示設備上儘可能呈現最適切的內容； 聽覺方面則包括如何在不同的環境中調整最適切的音量、如何將視覺資訊如文字或圖片轉為語音描述。

使用者介面設計 基本考量 多模式介面:依照週遭環境狀況，自動調整介面呈現模式。 系統如何知道我在與之對話？ 我如何得知系統正在等候我下指令？ 系統如何知道我輸入的指令與何相關？ 我如何得知系統依據我的期望執行？ 我如何由錯誤中更正？ 多模式介面:依照週遭環境狀況，自動調整介面呈現模式。

指令協調與資源優先權仲裁 人類在下指令無可避免的會有不自覺的小動作或是偏差，造成含糊不清的問題，因此需要設計一些方式來彌補這些問題。 不同親疏關係的使用者下達指令時，彼此之間的優先權要怎麼判斷，又要如何最佳化設備的使用率，也是需要考量的因素。 指令下達時，必須要設計一些可以讓使用者清楚系統現在運作的狀態的裝置(例如以燈號閃爍代表處理中，或是以音效表示完成)。

總結 是否可能以非視訊介面取代視訊輸入？不論攝影機如何隱藏，使用者仍會感覺到被監視，是否有可能利用其他非視訊的方式來取代視訊呢？ 中長距感應的研究仍然相對缺乏，現今大多數的研究仍著重在短距感應上。然而要能夠應用在家庭上，一定還是得使用中長距感應的研究成果。 如何提供使用者自行定義所需的介面？這個個人化的介面，又該如何讓使用者可以快速上手？ 如何在自動化之後，仍能讓提供使用者”擁有控制權”的感覺？什麼狀況下，又可以允許使用者”覆蓋”(override)系統判讀出來的偏好？ 家人之間的關係要用什麼方式去偵知？每一個空間和物品對應到家人的擁有權，又該用什麼方式去偵測及模擬？ 如何避免因為不同的設備之間干擾造成不可收拾的後果？是否該設定某種保護手段來確保最終的控制權仍在人身上？

Privacy Consideration Who should serve to? When to serve? What to serve? Where to serve? How to serve? Two ways for privacy protection [Meyer and Rakotonirainy.A survey of research on context-aware homes, Proceedings of the Australasian information security workshop conference on ACSW frontiers 2003, p.159-168, February 01, 2003, Adelaide, Australia ] Try not to disclosure information outside the system Restrict the amount of information being acquired and stored to the absolute minimum right from the beginning