量化研究與統計分析 ─ 文獻導讀報告 組員：葉思岑、陳馥蓉、徐瑜君 Jansen, B. J., Zhang, M. M., & Schultz, C. D. (2009). Brand and its Effect on User Perception of Search Engine Performance. Journal of the American Society for Information Science and Technology, 60(8), 1572-1595. 2009/12/17 量化研究與統計分析

研究動機 大部份搜尋引擎之表現及其介面好用性其實相似，為何只有少數的搜尋引擎可以主宰大部分的網路流量？ Brand and its Effect on User Perception of Search Engine Performance 研究動機 大部份搜尋引擎之表現及其介面好用性其實相似，為何只有少數的搜尋引擎可以主宰大部分的網路流量？ 前人的研究，發現「popularity」也是使用者使用某一搜尋引擎的原因 「(搜尋引擎)品牌效果」對使用者認知搜尋引擎之表現有何影響？ 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance A brand is the intangible sum of an organization’s attributes, which can reflect an organization’s name, history, reputation, and advertisement. A brand can be recognized as the identifiable symbol, sign, name, or mark that distinguishes an organization or a product from its competitors. 2009/12/17 量化研究與統計分析

研究假設 Research objective 1 Brand and its Effect on User Perception of Search Engine Performance 研究假設 Research objective 1 The search engine brand has no effect on the number of links examined among the SERPs of the search engine. H1a: There will be no difference in the number of links examined among the search engines. H1b: There will be no difference in the number of organic links examined among the search engines. H1c: There will be no difference in the number of sponsored links examined among the search engines. 2009/12/17 量化研究與統計分析

研究假設 Research objective 2 Brand and its Effect on User Perception of Search Engine Performance 研究假設 Research objective 2 There will be no difference in the number of links clicked by rank among the search engine. H2a: There will be no difference in the number of links clicked among search engines. H2b: There will be no difference in the number of organic links clicked among search engines. H2c: There will be no difference in the number of sponsored links clicked among search engines. 2009/12/17 量化研究與統計分析

研究假設 Research objective 3 Brand and its Effect on User Perception of Search Engine Performance 研究假設 Research objective 3 The search engine brand has no effect on the evaluation of links on the SERP among the search engines. H3a: There will be no difference in the evaluation of links among search engines. H3b: There will be no difference in the evaluation of organic links among search engines. H3c: There will be no difference in the evaluation of sponsored links among search engines. 2009/12/17 量化研究與統計分析

研究假設 Research objective 4 Research objective 5 Brand and its Effect on User Perception of Search Engine Performance 研究假設 Research objective 4 The search engine brand has no effect on the evaluation of SERP landing pages. H4a: There will be no difference in the evaluation of SERP landing pages among search engines. H4b: There will be no difference in the evaluation of organic landing pages among search engines. H4c: There will be no difference in the evaluation of sponsored landing pages among search engines. Research objective 5 What are the underlying issues of branding that affect how users evaluate search engines, links, and Web pages? 2009/12/17 量化研究與統計分析

研究設計 one – quarter fraction of a 4X4 design Brand and its Effect on User Perception of Search Engine Performance 研究設計 one – quarter fraction of a 4X4 design Brand(4) X Query type(4)=16種問題情境 Brand Query type Google Yahoo! MSN No name 1.Housing (manufactured home) G1 Y1 M1 N1 2.Entertainment (techno music) G2 Y2 M2 N2 3.Medicine (laser removal) G3 Y3 M3 N3 4.Travel (camping Mexico) G4 Y4 M4 N4 2009/12/17 量化研究與統計分析

研究設計 受測者會分配到某一個block，此block包含四種處理組合 問題類型 G Y M N 受測者 1 2 3 4 32X4=128 Brand and its Effect on User Perception of Search Engine Performance 研究設計 受測者會分配到某一個block，此block包含四種處理組合 問題類型 受測者 Housing Entertainment Medicine Travel 1 G Y M N 2 3 4 32X4=128 2009/12/17 量化研究與統計分析

研究設計 搜尋結果介面設計 減少變因 檢索結果頁面(SERPs)採用Google搜尋結果 與不同搜尋引擎的品牌要素組合 Brand and its Effect on User Perception of Search Engine Performance 研究設計 搜尋結果介面設計 減少變因 結果數、結果的呈現方式、結果品質 檢索結果頁面(SERPs)採用Google搜尋結果 移除所有可辨識的logo、 text、URLs、HTML code 與不同搜尋引擎的品牌要素組合 Google Yahoo! MSN Live Search AI2RS(代表No name) 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance 2009/12/17 量化研究與統計分析

執行程序 32位受測者 實驗開始前 正式進入研究 實驗過程沒有時間限制 2006年秋季從主要的美國大學招募 年齡範圍為18-25歲 8位女性、24位男性 實驗開始前 填答人口統計資料問卷、網路搜尋行為相關問題 主持人(moderate) 說明實驗過程、指導其採用大聲思考法(think aloud) 正式進入研究 受測者直接檢視四個搜尋情境的搜尋結果(實驗SERPs) 受測者可在實驗介面上持續搜尋，當其進行一些離開實驗介面且不再返回的動作(例如：送出新的查詢、到下一頁結果、到不同搜尋引擎)時，該實驗情境即結束 實驗過程沒有時間限制 2009/12/17 量化研究與統計分析

執行程序 搜尋情境舉例： 2009/12/17 量化研究與統計分析

執行程序 計算 評估採用3-point scale(相關、有點相關、不相關) Examined link Clicked link Brand and its Effect on User Perception of Search Engine Performance 執行程序 計算 Examined link Clicked link 評估採用3-point scale(相關、有點相關、不相關) Evaluation of link Web page evaluation Utterances(質化分析) Next search action 2009/12/17 量化研究與統計分析

研究結果 實驗前調查(沿用2005年的問卷) 常用之搜尋引擎(複選) 常用原因可分為10項 Brand and its Effect on User Perception of Search Engine Performance 研究結果 實驗前調查(沿用2005年的問卷) 常用之搜尋引擎(複選) Google(31)、Yahoo!(10)、Dogpile(2)，AltaVista(1)、 Naver(1)、MSN(1) 常用原因可分為10項 搜尋引擎的聲望/名氣(popularity) 與2005年調查相比，Company Standards、Social Networking為此次出現的新回應 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance 2009/12/17 量化研究與統計分析

marginally significant Brand and its Effect on User Perception of Search Engine Performance 研究結果 ─ H1 H1a H1b H1c marginally significant 2009/12/17 量化研究與統計分析

研究結果 ─ H1 不支持H1a 檢視數(link examined)與搜尋引擎品牌有顯著關係(p=0.022) Brand and its Effect on User Perception of Search Engine Performance 研究結果 ─ H1 不支持H1a 檢視數(link examined)與搜尋引擎品牌有顯著關係(p=0.022) Yahoo!>Google、MSN 品牌與問題類型之交互作用顯著(p=0.154) Housing query：Google、Yahoo! > MSN > No name Entertainment query：Yahoo! > Google、MSN、No name Medicine query：No name > Google、Yahoo! > MSN Travel query： Yahoo! > MSN > Google、No name 2009/12/17 量化研究與統計分析

Fig2. 所有檢視的連結數交互作用 (brand*query)圖 Brand and its Effect on User Perception of Search Engine Performance 旅遊相關：Yahoo! > MSN > Google、No name Fig2. 所有檢視的連結數交互作用 (brand*query)圖 娛樂：Yahoo! > Google、MSN、No name 買屋：Google、Yahoo! > MSN > No name 醫療：No name > Google、Yahoo! > MSN 2009/12/17 量化研究與統計分析

研究結果 ─ H1 不支持H1b 不支持H1c 一般連結檢視數與搜尋引擎品牌有顯著差異(p=0.089) Brand and its Effect on User Perception of Search Engine Performance 研究結果 ─ H1 不支持H1b 一般連結檢視數與搜尋引擎品牌有顯著差異(p=0.089) Yahoo!> No name 不支持H1c 搜尋引擎品牌對贊助商連結之檢視數上有顯著差異 (p=0.045) Yahoo!> MSN 問題類型影響顯著(p=0.000) Housing>the other three 品牌與問題類型之交互作用顯著(p=0.026) Housing query：Google >Yahoo!、MSN、No name Entertainment query：Yahoo! > No name > Google > MSN Medicine query：幾乎是0，只有No name有，但不顯著 Travel query：Yahoo!最高 2009/12/17 量化研究與統計分析

Fig6. 檢視的贊助商連結數交互作用 (brand*query)圖 Brand and its Effect on User Perception of Search Engine Performance Fig6. 檢視的贊助商連結數交互作用 (brand*query)圖 買屋：Google >Yahoo!、MSN、No name 娛樂：Yahoo! > No name > Google > MSN 醫療：幾乎是0，只有No name有，但不顯著 旅遊相關：Yahoo! 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance H2b 2009/12/17 量化研究與統計分析

Fig8. 所有點擊的連結數交互作用 (brand*query)圖 Brand and its Effect on User Perception of Search Engine Performance Fig8. 所有點擊的連結數交互作用 (brand*query)圖 買屋：Google > Yahoo! > MSN > No name 娛樂：Yahoo! > Google、MSN、No name 醫療：四種搜尋引擎之連結點擊率皆相似 旅遊相關：Yahoo! > MSN > Google、No name 2009/12/17 量化研究與統計分析

娛樂：Yahoo! > Google、MSN、No name Brand and its Effect on User Perception of Search Engine Performance 娛樂：Yahoo! > Google、MSN、No name 買屋：Google > Yahoo!、MSN、No name 旅遊相關：四種皆趨近於0 醫療：四種皆 趨近於0 2009/12/17 量化研究與統計分析 Fig9. 點擊的贊助商連結數交互作用 (brand*query)圖

研究結果 ─ H1&H2 點擊之連結平均少於檢視之連結約26% Brand and its Effect on User Perception of Search Engine Performance 研究結果 ─ H1&H2 點擊之連結平均少於檢視之連結約26% 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance H3b 2009/12/17 量化研究與統計分析

研究結果 ─ H3 不支持H3a 搜尋引擎與連結的評估有顯著性差異(p=0.071) 品牌與問題類型間之交互作用顯著(p=0.073) Brand and its Effect on User Perception of Search Engine Performance 研究結果 ─ H3 不支持H3a 搜尋引擎與連結的評估有顯著性差異(p=0.071) Google>MSN 品牌與問題類型間之交互作用顯著(p=0.073) Housing query：Google > Yahoo!、MSN、No name Entertainment query：Yahoo! > Google、MSN、No name Medicine query：四種搜尋引擎之連結評估分數皆低，且都低於其他問題類型之最低評分 Travel query：No name > Google > Yahoo!、MSN [與圖對照，Yahoo!被筆誤為No name] 2009/12/17 量化研究與統計分析

Fig11. 所有被評估之SERP連結的交互作用 (brand*query)圖 Brand and its Effect on User Perception of Search Engine Performance Fig11. 所有被評估之SERP連結的交互作用 (brand*query)圖 買屋：Google > Yahoo! 、MSN、No name 娛樂：Yahoo! > Google、MSN、No name 醫療：四種搜尋引擎之連結評分皆低 旅遊相關： No name > Google > Yahoo! 、MSN 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance 虛無假設 The search engine brand has no effect on the evaluation of SERP landing pages 2009/12/17 量化研究與統計分析

討論與建議 研究結果顯示，使用者在情感與認知上的感受，會影響使用者與系統的互動 Brand and its Effect on User Perception of Search Engine Performance 討論與建議 研究結果顯示，使用者在情感與認知上的感受，會影響使用者與系統的互動 Google、Yahoo!在服務品牌(service branding)上佔有很大的市場優勢 Google最常被人使用 Yahoo! 的延伸服務(娛樂、旅遊) 非主流(MSN)或缺乏品牌(No name) 雖然連結檢驗與點擊數較主流搜尋引擎低，但是其檢驗的連結都比主流搜尋引擎檢驗的連結之品質還高 領域效應(domain effect) 非主流(MSN)或缺乏品牌(No name)：研究發現，雖然連結檢驗與點擊數較主流搜尋引擎低，但是其檢驗的連結都比主流搜尋引擎檢驗的連結之品質還高。研究者表示，此結果指出，人們對主流搜尋引擎的結果(在相關性與排序上)抱持較高度的信任。 領域效應(domain effect) ：housing、entertainment > medicine、travel 2009/12/17 量化研究與統計分析

討論與建議 影響使用者評估連結的其他因素 對網站設計與內容提供者之建議(H4) 連結片段(link snippet)[本研究已控制此變因] Brand and its Effect on User Perception of Search Engine Performance 討論與建議 影響使用者評估連結的其他因素 連結片段(link snippet)[本研究已控制此變因] title、summary、URL 排序 受到使用者信任的搜尋引擎品牌，即使最前面的連結之有用性較低，仍會被使用者接受 對網站設計與內容提供者之建議(H4) 2009/12/17 量化研究與統計分析

Brand and its Effect on User Perception of Search Engine Performance 2009/12/17 量化研究與統計分析

綜合討論 one – quarter fraction of a 4X4 design 蒐集資料效率高，適用於短時間或無法找到許多樣本的研究 Brand and its Effect on User Perception of Search Engine Performance 綜合討論 one – quarter fraction of a 4X4 design 蒐集資料效率高，適用於短時間或無法找到許多樣本的研究 本研究各問題情境所獲得的資料其實只有8筆(32*4/16=8)[研究限制] marginally significant 交互作用部分直接以圖示說明，未提及單純主效果檢定，故不知是否有統計顯著效力 量化與質化結合 marginally significant運用於描述p值相當接近.05，[還未達顯著，但]當其可以獲得較大的樣本數時，便很有可能變成顯著。 2009/12/17 量化研究與統計分析

報告結束 謝謝聆聽 2009/12/17 量化研究與統計分析