Justin Mittelstaedt, Jan Wacker, Dirk Stellinga

Presentation on theme: "Justin Mittelstaedt, Jan Wacker, Dirk Stellinga"— Presentation transcript:

1 Justin Mittelstaedt, Jan Wacker, Dirk Stellinga
自行車模擬器的顯示類型與運動控制對數碼動暈症的影響 Effects of display type and motion control on cybersickness in a virtual bike simulator Justin Mittelstaedt, Jan Wacker, Dirk Stellinga Displays Volume 51, January 2018, Pages 43-50 這只是21世紀的一個奇特的副作用，叫做數碼動暈症(digital motion sickness)，通俗地稱之為「暈屏幕」(cybersickness)。 醫學和媒體專家稱，這種人因為觀看活動的數碼媒體內容而感到頭昏眼花，有如乘船在大海上顛簸的現象正越來越普遍。 在醫學專業人士看來，數碼動暈症是一種由視覺誘發的動暈症，其根源在於感官輸入信號之間不匹配。 「平衡感不同於其他感覺，它可以有很多輸入途徑，當這些輸入信號不一致時，你就會感到頭暈和噁心。」

2 Abstract 動暈症(Cyber​​sickness)是在使用VR時經常發生的問題，狀況和暈車、暈船相似，會產生頭暈和噁心的情形。
在這個實驗中，受測者被要求在虛擬島嶼操作虛擬自行車 受測者會裝置頭戴式顯示器(head-mounted display, HMD)或觀看大型電腦螢幕的虛擬實境（virtual reality, VR）畫面，使用遊戲手把或自行車測功器進行自行車的控制 每種實驗條件會有20位受測者 (自行車測功器/頭戴式顯示器)、(遊戲手把/頭戴式顯示器) 、(自行車測功器/大型電腦螢幕) 在實驗之前、期間與之後，會使用SSQ評估三種不同條件下的受測者生理感受， 結果顯示頭戴式顯示器產生的動暈症發生率大於大型螢幕，而不同的控制器沒有差異 在Pearson correlation coefficients分析發現，在使用自行車測功器的情況下，SSQ分數與自身敏感度存在顯 著關係 而(遊戲手把 /頭戴式顯示器) 與使用電動遊戲的頻率有顯著負相關 這只是21世紀的一個奇特的副作用，叫做數碼動暈症(digital motion sickness)，通俗地稱之為「暈屏幕」(cybersickness)。 醫學和媒體專家稱，這種人因為觀看活動的數碼媒體內容而感到頭昏眼花，有如乘船在大海上顛簸的現象正越來越普遍。 在醫學專業人士看來，數碼動暈症是一種由視覺誘發的動暈症，其根源在於感官輸入信號之間不匹配。 「平衡感不同於其他感覺，它可以有很多輸入途徑，當這些輸入信號不一致時，你就會感到頭暈和噁心。」 腳踏車測功器：使用腳踏車調整負荷強弱變化的機械裝置，可以測量運動量。負荷是依車輪摩擦抵抗力而定，

3 Introduction VR和頭戴式顯示器（HMD）隨著成本降低與技術的改進越來越普及於消費市場
但技術的改進並沒有解決VR體驗帶來的暈眩與噁心感，這是由於視覺和前庭系統(vestibular systems)感受不 一致產生的衝突反應，這樣由VR體驗帶來的不適感稱為動暈症(cybersickness) 在不同的研究中，動暈症的發生率介於35%~79%，差異可能來自於不同VR的顯示裝置 Chen, Dong, Hagstrom and Stoffregen(2011) 使用大型電視屏幕 Kim, Kim, Kim, Ko and Kim(2005) 利用了一種不太常見但更身歷其境的的電腦輔助虛擬環境（computer- aided virtual environment, CAVE），且已被證明比同一虛擬情境的電腦螢幕版本引起更多動暈症發生 Sharples, Cobb, Moody and Wilson(2008)發現，與電腦螢幕相比，HMD上呈現的虛擬環境發生動暈症比例 更高。 前庭系統：作用於人自身的平衡感和空間感，對於人的運動和平衡能力起關鍵性的作用。

4 Introduction - Vection and cybersickness
在VR體驗中，會讓人感到不適的原因來自於，並沒有實際的運動，但環境中的線索誘導體驗者”移動”的 錯覺，例如身邊的景物往後移動、前方水聲越來越大聲等等暗示，這個暗示是VR玩家與VR環境中的媒介 (Vection) (Hettinger,1990)。關於媒介與暈動症之間的關係存在著矛盾： Keshavarz(2014)&Flanagan(2002)並沒有發現媒介與暈動症有顯著關係 而Keshavarz, Riecke, Hettinger和Campos(2015) 則得出在VR體驗中單純的動作並不會產生暈動症，需有其 他條件同時並存，例如感覺衝突，受測者才會受到影響。 而研究幾乎一致認為，使用視覺呈現的光學運動(線性或是旋轉)變化是產生暈動症的先決條件，VR體驗中受 測者改變位置就是使用光學運動呈現 VR體驗中的運動方式中，由於虛擬空間的範圍通常遠大於實驗空間，因此許多實驗僅能使用被動控制，例 如在椅子上模擬過山車(Nalivaiko, 2015)、使用遊戲手把模擬球賽(Howarth, 2008)，或是現實中對應的運動 控制例如駕駛模擬器(Helland, 2016)、飛行模擬器(Stein, 2012) 較少使用非機器控制的方式例如步行或是自行車，但這樣的控制方式能提升受測者在VR體驗中的參與感 (Borrego, 2016) Jaeger and Mourant(2001)的實驗中，使用跑步機的受測者受到暈動症影響的程度小於使用滑鼠操作導航的 受測者。Llorach, Evans和Blat(2014)的實驗也有類似的結果，顯示接近真實世界的運動方式能減輕暈動症的 發生。 Vection是VR領域的一個專有名詞，其義指“在虛擬現實中給人帶來‘移動’(self-motion)感覺的認知因素”1。也就是說，vection就是指那些給玩家帶來“我正在這個虛擬環境中移動”這種感覺的因素，比如“身邊的景物正在往後移動”，“水聲越來越大”等等。我們通過視覺、聽覺、前庭系統（vestibular system）和體感（somatosensory，面板和皮下感知，提供“接觸”、“受力”的感覺）來判斷我們的空間位置變化。VR中也是利用了這些方面，提供相應的cue（相應方面的暗示、提示）來使得玩家有移動的感覺。 Vection對於VR來說基本是必須的，只要玩家可以在虛擬環境中移動，即是是隻移動視角，都一定會涉及到vection。所以與其說是vection給VR帶來沉浸感（immersion），不如說缺乏vection會破壞VR體驗。

5 Introduction - Hypothesesd
虛擬自行車在VR環境中影起暈動症的程度，選用不同的顯示器(頭戴式顯示器、大型電腦螢幕)與兩種控制方 式(自行車測功計、遊戲手把)進行實驗 實驗有以下假設 H1：頭戴式顯示器會引起更強烈的暈動症反應 H2：由於自行車測功器較接近現實操控，感官衝突較低，所引起的暈動症反正會更低 H3：暈動症的嚴重程度與自身敏感度(暈車、暈船病史)有關 H4：暈動症的嚴重程度與使用電動遊戲頻率有關 Vection是VR領域的一個專有名詞，其義指“在虛擬現實中給人帶來‘移動’(self-motion)感覺的認知因素”1。也就是說，vection就是指那些給玩家帶來“我正在這個虛擬環境中移動”這種感覺的因素，比如“身邊的景物正在往後移動”，“水聲越來越大”等等。我們通過視覺、聽覺、前庭系統（vestibular system）和體感（somatosensory，面板和皮下感知，提供“接觸”、“受力”的感覺）來判斷我們的空間位置變化。VR中也是利用了這些方面，提供相應的cue（相應方面的暗示、提示）來使得玩家有移動的感覺。 Vection對於VR來說基本是必須的，只要玩家可以在虛擬環境中移動，即是是隻移動視角，都一定會涉及到vection。所以與其說是vection給VR帶來沉浸感（immersion），不如說缺乏vection會破壞VR體驗。

6 Methods -Participants
總共有60名受測者， 40名女性，20名男性。平均年齡25.62歲（SD = 9.34） 隨機分為三組，每組20名受測者 自行車測功器/頭戴式顯示器(HMD) （13名女性，7名男性，平均年齡= 25.65歲，SD = 9.10年）， 遊戲手柄/頭戴式顯示器(HMD) （12名女性，8名男性，平均年齡= 24.40歲，SD = 8.95年） 自行車測功器/大型電腦螢幕（15名女性，5名男性，平均年齡= 26.80歲，SD = 9.98年）。 所有受測者視力均正常或配戴隱形眼鏡。(部分鏡架不適用頭戴式顯示器) 經德國心理學會倫理委員會(Ethics committee of the German Psychological Association)批准 （DGPS; JM ）。

7 Methods - Apparatus Xbox One遊戲手把
右邊與左邊的圓形按鈕分別用於加速與煞車。左邊的操 縱桿用來控制方向，遊戲畫面不會直接翻轉到輸入的方 向，而是逐漸調整產生平滑的移動。 自行車測功計 從測功計的踏板的移動被轉換成電信號並反映到虛擬自 行車的加速度。自行車右側把手可以控制減速與停止， 使用OptiTrack Flex 3光學運動捕捉系統追蹤把手的旋轉， 標準誤差約為0.1mm。 Sony Bravia HX75大型電腦螢幕 螢幕尺寸為55英寸（140厘米），放置在受測者前方大約 1公尺處。螢幕解析度為1920×1080像素，刷新率為 400Hz。實驗時，受測者會套上類似頭戴式顯示器的頭 罩(重量與HMD相同)，在眼睛位置有兩個圓形孔洞，將 視野限制在與HMD大致相同的程度。 Oculus Rift Consumer Version 1頭戴式顯示器（HMD） 有兩個獨立畫面的顯示器，每隻眼睛的螢幕解析度為 1080×1200像素，刷新率為90Hz，具有110°水平視場的 立體視覺。配備加速計，陀螺儀，磁力計和額外的星座 跟踪攝像機，可跟踪三維空間中的頭部位置。受測者可 調節兩個鏡片的瞳孔間距，範圍在57mm至71mm內調節 星座追縱系統 Oculus的位置追縱系統，用來追縱使用者頭部與其他VR裝置的位置，被稱為「星座」（Constellation）[33]，具有一部可光學追縱VR裝置的外部紅外線攝影機。 Rift或任何其他被此系統追縱的裝置，都在其表面之上或之下配有一系統可精確定位的紅外線LED燈，以特定模式閃爍著。透過知道物件上LED燈的位置與其模式，系統可以亞毫米的準確度精確定位各裝置的位置[33]。 星座可使用單一個追縱攝影機或同時使用多個追縱攝影機。Rift的套件中已包含一個追縱攝影機，使用者可單獨購買其他攝影機，並放置在房間裡，以獲得更高的追縱容量，包括整個房間的容量[34]。 Oculus將允許第三方公司製造可被系統追縱的裝置，並提供應用程式介面（API）給第三方公司使用[35]。

8 Methods - Scenario 虛擬場景使用Unity遊戲（v5.4.0p3）構建，模擬出一座小島，具有樹 木、石頭、草等畫面。
藉由樹木或柵欄所為出的區域做為受測者移動的路徑， 受測者的視野來自虛擬自行車所設定的頭部位置，且能看到部分的 “自己”與虛擬自行車 每位受測者進行三次實驗，導航從起點開始到指定目的地，導航路線 以外的區域是不可進入的，且三次實驗的距離相等。 第一次與第三次的路線主要為下坡路段，第二次路徑為上坡路段。

9 Methods - Cybersickness measurement
因為目前沒有專門評估暈動症的量表，所以先前的文獻都使用不同的問卷，例如運動疾病評估問卷(Motion Sickness Assessment Questionnaire)、噁心程度(the Nausea Profile)、模擬器不適問卷(Simulator Sickness Questionnaire, SSQ)，以上量表的共通點都是在VR體驗結束後進行評估，因為都是紙筆填寫。 SSQ多用於軍事開發模擬器評估，用來比較不同飛行模擬器中產生不適的狀況程度與比例，雖有文獻表明模 擬器產生的不適與VR體驗暈動症症狀略有不同，但SSQ仍是最適合評估模擬器不適與暈動症的量表。 這份量表由16道題目(症狀)組成，分為四個等級無感、輕度、中度、重度，轉化為0~3分 加總後會得到不適總分(total score of sickness, SSQ-T) 另外根據Kennedy等人(1993)提出的公式得到三個子分數 噁心（Nausea, SSQ-N）、眼動神經（Oculomotor, SSQ-O）、方向知覺的迷失（Disorientation, SSQ-D） 在研究中將SSQ分為三個階段，VR體驗前與體驗後使用紙本問卷，VR體驗中則在VR體驗中回答問題，使用 手煞車或是遊戲手柄中的按鈕來輸入答案。 1. General一般 2. Fatigue疲勞 3. Headache頭痛 4. Eye strain眼睛疲勞 5. Difficulty focusing難以集中注意力 6. Salivation increasing唾液分泌增加 7. Sweating 流汗 8. Nausea 噁心感 9. Difficulty concentrating難以集中思考 10. « Fullness of the Head » 頭脹 11. Blurred vision 視力模糊 12. Dizziness with eyes open 睜眼感到暈眩 13. Dizziness with eyes closed 閉眼感到暈眩 14. *Vertigo 暈眩 15. **Stomach awareness 胃部的感受 16. Burping打嗝

10 Methods - Procedure 首先請受測者填寫實驗同意書，並填寫使用自行車與電動遊戲的頻率，還有自我頻估在汽車、海上的表現， 以及飲用酒精與過量食物的表現。 之後填寫實驗前(pre-immersion)的SSQ量表 受測者依據分配到的組別自行車測功器/頭戴式顯示器(HMD)；遊戲手柄/頭戴式顯示器(HMD) ；自行車測功 器/大型電腦螢幕，進行實驗 告知受測者它可以無理由的隨時中止實驗，尤其是在感到身體不適或噁心 實驗一開始受測者會被放置在虛擬小島上，僅能環顧四周無法藉由虛擬自行車移動位置(Acqu) 接著進行三次實驗，透過導航指引從起點到指定目的地，抵達目的地後進行SSQ症狀評級 三次實驗結束後，填寫紙本SSQ量表

11 Methods - Analysis 對於SSQ的總分與三個子分數，使用線性混合模型(linear mixed models, LMM) 計算區間最大值 使用Tukey p-adjusted做事後檢定，統計檢定的α < 0.05 用R (3.3.2) 程式分析數據。 使用R package lme4求解LMM 圖形使用ggplot2 package

12 Results - Cybersickness differences
由於受測者感到嚴重的噁心感，有兩位(自行車測功器 / 頭戴 顯示器)與兩位(遊戲手把/頭戴顯示器)提早中止實驗。 對於不同實驗條件的三組受測者在持續時間（F（2,56）= 1.41; p = 0.253）與運動速度（F（2,56）= 2.25; (F(2,56) = 2.25; p = 0.115)都沒有顯著差異 在(自行車測功器/頭戴顯示器)與(遊戲手柄/頭戴顯示器)的情 況中，SSQ的分數明顯增加 最高得分為(自行車測功器/頭戴顯示器)平均51.53

13 Results - Cybersickness differences
在VR內的SSQ分數中，發現受測者在VR的體驗時間長短與受測條件有顯著差異，且兩者有顯著的交互作用 並對其時間進行T檢定，除實驗1與實驗2（t（220）= 0.40，p = 0.995）、實驗3與實驗後（t（220）= 1.53，p = 0.547）兩組，其他倆倆都有顯著差異，顯示受測者的不適感會隨著VR體驗的時間增加而增加 (自行車/大型螢幕)與另外兩種HMD實驗條件有顯著差異 （自行車/ HMD：t（57）= 2.56，p  = 0.034；遊戲手把 / HMD：t（57）= 2.66，p  = ） 而兩者的交互作用在實驗前與實驗後的三種條件沒有顯著差異，但在實驗過程中有顯著差異 Predictor df F-value p-value Intercept -1,220 118.01 <.001 Time -4,220 33.426 Condition (2,57) 4.47 0.016 Time:Condition -8,220 2.46 0.014

14 Results - Cybersickness differences
時間與受測條件對於SSQ的三個子分數，噁心、眼動神經、方向知覺的迷失都有顯著影響 對時間進行成對比較 實驗1與實驗2在3個子分數中都沒有顯著差異 　　　噁心在實驗3與實驗後沒有顯著影響 　　　方向知覺的迷失，在實驗1與實驗後、實驗2與實驗後、實驗2與實驗3中沒有顯著影響 對於三種不同實驗條件 噁心與眼動神經的分數僅在(自行車/頭戴顯示器)與(腳踏車/螢幕)有顯著影響 方向知覺的迷失在(遊戲手把/頭戴式顯示器)與(腳踏車/大型螢幕)有顯著影響 在三個子分數中的交互作用是相似的，(自行車/大型螢幕)與(自行車/頭戴顯示器)、 (遊戲手把/頭戴式顯示器) 間存在顯著差異，而實驗前與實驗後沒有顯著差異

15 Results - Cybersickness predictors
藉由實驗前受測者所填寫的問卷，了解他們平時對於自行車與電動遊戲的使用頻率、平時搭乘汽車、海上運 輸工具的敏感性(susceptibility)，以及對於過度攝取酒精和食物的敏感性(susceptibility) 利用在三次實驗中得到的SSQ最高分，使用Pearson correlation coefficients計算，結果顯示 (自行車測功器/頭戴式顯示器) 、(自行車測功器/大型螢幕)與搭乘汽車、海上運輸工具的敏感性有強烈關係 而使用電動遊戲的頻率與(遊戲手把/頭戴式顯示器)有顯著負相關，玩電動遊戲的頻率越高，在使用 (遊戲手 把/頭戴式顯示器)時的不適感越低 Maximum SSQ Total Score Bike/HMD Gamepad/HMD Bike/Screen Video game use −0.41 −0.50* 0.08 Sickness (car) 0.48* −0.02 0.54* Sickness (sea) 0.53* 0.64* Sickness (alcohol/food) 0.02 0.01 0.42 相關性 負 正 無 −0.09 to 0.0 0.0 to 0.09 弱 −0.3 to −0.1 0.1 to 0.3 中 −0.5 to −0.3 0.3 to 0.5 強 −1.0 to −0.5 0.5 to 1.0

16 Discussion - Display type
在比較兩種不同的顯示類型 ( 頭戴式顯示器(HMD) / 大螢幕 ) 引起的暈動症反應 發現 ：HMD會引起的更多的暈動症 這個結果與L. Rebenitsch & C. Owen (2016) 和 S. Sharples, S. Cobb, A. Moody, J.R. Wilson(2008)結果一致 這可能是因為在大螢幕實驗條件下，儘管讓受測者戴上面罩限制視野，並且隔離真實世界的景色。但無法固 定受測者的頭部位置與旋轉角度，因此受測者可藉由頭部的移動察覺到現實環境，減少虛擬環境的影響。 HMD帶來更高度的媒介與視覺光學運動，使得視覺誘導與身體感官的差異更為強烈

17 Discussion - Motion control
(自行車 / 頭戴式顯示器) 與 (遊戲手把 / 頭戴式顯示器) 間的SSQ評分沒有顯著差異，顯示儘管使用自行車測 功器這種更為逼真的運動控制，也不會減輕VR帶來的暈動症 Moss等人(2011)與Merhi(2007)發現若在VR體驗中保持姿勢的穩定性，能減緩VR的暈動症 自行車的受測者能握住把手，增加姿勢穩定性減緩暈眩感，而(遊戲手把 /頭戴式顯示器)會有相當大的方向 轉動，這可能是導致他在方向知覺的迷失的分數相對(自行車 / 頭戴式顯示器)較高的原因 但自行車測功器並不能充分回饋受測者的控制，例如轉彎時的傾斜、旋轉(rotational)的回饋，這些感官衝突 產生的落差都是導致暈動症的原因。

18 Discussion - Cybersickness in general
在使用頭戴式顯示器時，SSQ的分數較高。 在三種實驗條件SSQ分數都會隨時間增加而增加 而實驗後，暈動症的程度並沒有顯著下降，且在(自行車/大螢幕) 的情況中，SSQ的分數持續增加，分數與另外兩者達到同一水平 在(遊戲手把/HMD)的情狀中，方向知覺的迷失在實驗3與實驗後 的測量產生大量下降 這個結果和過往單純使用紙筆SSQ的分數略有不同，但因為測量時 間接近，因此可以合理評估在VR時填寫量表的有效性更高。 而分數可能受到需求特性(demand characteristics)的影響，Young, Adelstein and Ellis(2006)觀察到若在VR體驗前進行前測，VR體驗 後的SSQ分數較高。 而這個研究中受測者填寫了六次SSQ量表，可能導致更高的分數產 生 需求特性，一個實驗中讓受試者感覺到實驗者希望他的表現是什麼的一種提示。

19 Discussion - Motion sickness history and video game usage
在過去對於暈車、暈船的人我們認為他是較容易在VR體驗中產生暈動症的(Rebenitsch, 2014 & Golding ,1998)，電動遊戲的使用頻率與暈動症有相關(Jaeger, 2001 &Knight ,2006) 在使用自行車測功計的情況下，暈車、暈船的人與暈動症的發生有顯著關係 受測者都是能熟練操作自行車的，因此直觀的控制會導正更強烈的不協調感，導致暈動症發生 使用( 遊戲把手 / 頭戴式顯示器)則與暈車暈船無關，但與電動遊戲的使用頻續呈現負相關 使用自行車測力器就像騎真正的自行車一樣，而使用遊戲手把進行操作對經常使用電動遊戲的人是直觀的易 於操作的，較少使用電動遊戲的人則相反，且可能帶來壓力，因為較難以操作控制自行車的方向與速度。 是否能主動控制是降低暈動症程度的方法之一(Chen, 2011 & Knight, 2006) 需求特性，一個實驗中讓受試者感覺到實驗者希望他的表現是什麼的一種提示。

20 Conclusion 研究證實頭戴式顯示器比起大螢幕更容易產生暈動症發生(Sharples, 2008)
但無法確認先進的運動控制(自行車測功計)能比一般的運動控制器減少暈動症的發生(Jaeger, 2001&Llorach 2014) 而是否容易暈車與電動遊戲的使用頻率，這提供給VR遊戲設計運動控制裝備改善參數 結果也進一步證明，VR環境的使用者須進行更謹慎的身體評估