Homework 2 : VSM and Summary 楊立偉教授 台灣科大資管系 wyang@ntu.edu.tw © Copyright 2014 by Willie Yang

Requirements Extract keywords using Homework #1 n-gram approach with tf-idf, and extract at least 200 keywords for each topic Use keywords to tag every document Use VSM to get the cosine similarity Use keywords to generate the summary rank the occurrences of keywords for each sentence.

Detailed requirements (1) List the most similar 6 documents for each query 1393924219057_1_N01 熱身賽首登板 王維中1局飆2K 1393793583281_N01 服貿卡關 出口競爭力卡卡 1393792680648_N01 俄羅斯 烏克蘭 克里米亞戰爭 倒數計時 1393903770008_N01 談餘額寶 周小川：不取締 1394180338658_N01 自由車環台賽 9日台北起跑 1394105127891_N01 康康挺高凌風演唱會 四處拉票 1393816909339_N01 前台灣大總座 轉戰台灣之星 1393619466219_N01 台鐵誤點 出站像逃難 1393619409139_N01 國道塞爆 車速只有20公里 1394051127145_N01 民生物資漲幅 飆2年來新高

Detailed requirements (2) List the summary (top 3 sentences) for each query from single or multiple documents use punctuations to separate sentences 句末標點符號如，。？！

Query examples Query 1394137749431_1_N01 自己喊募兵捐 國防部遭打臉 1394183941786_N01 提到PaPa 侯佩岑哽咽落淚 1393834443757_N01 退出本田菁英賽 伍茲背傷拉警報 1393965164051_1_N01 豬價飆翻天 小確幸沒了

Output examples 1/6 query: 1394137749431_1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] similar results - 1 1394137749431_1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 0.8965748 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] - 2 1394138019183_N01 中時電子報 焦點要聞 募兵捐 財政國防兩部兜不攏 0.879695 [午馬, 電視, 張盛和, 閣員, 財政部, 募兵捐, 嚴明, 進口] - 3 1394135816129_N01 聯合新聞網 焦點新聞 開徵募兵捐？ 財長說NO 0.8756659 [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] - 4 1394135410629_N01 聯合新聞網 最新報導(熱門推薦) 開徵募兵捐？ 財長說NO 0.8756659 [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] - 5 1394086302493_1_N01 中央社 政治新聞 募兵捐 國防部：財政部研究 0.8624651 [財政部, 募兵捐, 嚴明] - 6 1394088320030_N01 聯合新聞網 最新報導(熱門推薦) 募兵捐 國防部：財政部研究 0.8624651 [財政部, 募兵捐, 嚴明] summary from #1 doc - 1 但昨中午，張盛和出席國民黨團大會時卻否認開徵募兵捐 0.15384616 - 2 國防部長嚴明昨在立法院證實，正與行政院、財政部研究開徵「募兵捐」，挹注國防部所屬基金 0.069767445 - 3 針對財源不足問題，綠委蕭美琴昨早在立院委員會詢問嚴明，政院是否討論開徵募兵捐？嚴明證實此事 0.06521739

Output examples 2/6 query: 1393824125833_N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] similar results - 1 1393818125982_N01 聯合新聞網 運動大聯盟 春訓首戰沒球速 建仔：不能硬催 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 2 1393789433200_N01 聯合新聞網 體壇動態 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 3 1393788487017_N01 聯合新聞網 最新報導(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 4 1393824125833_N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 5 1393813011152_N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 6 1393655071683_N01 聯合新聞網 最新報導(熱門推薦) 王建民春訓初登場 2日戰洛磯 0.83611137 [王建民, 建仔, 洛磯] summary from #1 doc - 1 王建民昨天面對洛磯隊，擔任第2任投手，中繼兩局失1分；紅人終場3：2獲勝，建仔在紀錄上獲得1個中繼點 0.05882353 - 2 失分出現在第3局，解決首名打者後，王建民被連續打出兩安，洛磯攻占二、三壘，亞瑞納度適時擊出安打，洛磯攻下1分 0.054545455 - 3 另一方面，建仔今年春訓一個重點就是變速球，他希望能練到對左打、右打都能使用，搭配伸卡更有利；紅人投手教練皮柯也提醒他，右手腕不要偏掉 0.04477612

Output examples 3/6 query: 1393965125505_1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢, 就業, 企 業, 性別, 修法] similar results - 1 1393965125505_1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 0.93168163 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢 , 就業, 企業, 性別, 修法] - 2 1393848980357_N01 中央社 地方新聞 新北首創 擬增產檢假陪產檢假 0.8391725 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] - 3 1393852144855_N01 聯合新聞網 最新報導(熱門推薦) 新北首創 擬增產檢假陪產檢假 0.8306215 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] - 4 1394051700013_N01 蘋果日報 要聞總覽 新北延長陪產假 中央研擬跟進 0.8218337 [基隆, 勞動部, 提案, 縣市, 懷孕, 郝龍斌, 新北市, 勞工, 二日, 陪產, 產檢, 就業, 企業] - 5 1393962183515_N01 聯合新聞網 焦點新聞 勞動部：新北產檢假只是創一個名詞 0.81532884 [女性, 勞動部, 照顧, 新北市, 勞工, 男性, 陪產, 產檢, 就業, 性 別, 修法] - 6 1393947432598_N01 中央社 地方新聞 新北送福利 設產檢與陪產假 0.81208795 [受僱者, 檢驗, 專業, 幼兒, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 產檢, 訓練, 性別] summary from #1 doc - 1 勞動部：將研議修法新北市首創產檢假及陪產檢假，勞動部強調支持，並將審慎研議修法 0.2 - 2 勞動部勞動條件及就業平等司長劉傳名說，雖然性別平等法沒有產檢假、陪產檢假的假別，但勞工還是可以用事假、特休假、病假、家庭照顧假等名義請假 ，中央規定較有彈性，「新北市只是新創了產檢假及陪產檢假兩個名詞」 0.12871288 - 3 陪產檢假2天 陪產7天勞工局勞資關係科長陳聖聰指出，只要設立在新北市的企業或勞雇關係發生在新北市者，即適用這項規定 0.12068965

Output examples 4/6 query: 1394183941786_N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] similar results - 1 1394183941786_N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 0.91770494 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] - 2 1394050719054_N01 蘋果日報 娛樂總覽 侯佩岑 與母神隱沒為邱嘉雄送終 挺3月肚擋絕情罪名 0.8925648 [雙手, 女性, 婚禮, 懷孕, 主播, 林月雲, 侯佩岑, 邱 嘉雄, 媽媽, 場合, 經紀, 國泰, 母親, 家屬, 長輩] - 3 1394225696000_N01 蘋果日報 娛樂總覽 侯佩岑露面吞絕情惡名 聞Papa含淚快閃 0.8858374 [公斤, 婚禮, 懷孕, 林月雲, 體重, 侯佩岑, 邱嘉雄, 媽媽, 控制] - 4 1394178009198_N01 聯合新聞網 最新報導(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] - 5 1394186975566_N01 聯合新聞網 udn發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] - 6 1394184176382_N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] summary from #1 doc - 1 侯佩岑的母親林月雲與贊泰建設董事長邱嘉雄有長達31年婚外情，邱嘉雄在農曆年前病逝，壹週刊日前報導邱嘉雄身後的遺產，大多數都留給林月雲，但 林月雲與侯佩岑卻因「身分尷尬」未出席喪禮 0.101123594 - 2 至於肚裡孩子是男是女，侯佩岑表示，大多數人賭會是男生，她之前有看一部美國歌手碧昂絲的懷孕紀錄片，裡面提到懷孕過程沒有感覺，但生完才會知道 自己的責任，她現在只希望孩子能順利出生又健康 0.054945055 - 3 （中央社記者徐卉台北7日電）藝人侯佩岑日前未出席「PaPa」邱嘉雄喪禮，侯佩岑今天出席活動被問及此事，她立即哽咽落淚說，「會用自己的方式紀念 」 0.041666668

Output examples 5/6 query: 1393834443757_N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] similar results - 1 1394081432043_N01 聯合新聞網 最新報導(熱門推薦) ESPN作家：伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 2 1394086430951_N01 聯合新聞網 體壇動態 ESPN作家：伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 3 1394097825861_N01 聯合新聞網 運動大聯盟 ESPN作家：伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 4 1393834443757_N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 0.873442 [伍茲, 回合, 高於標準桿, 任務] - 5 1393831269882_N01 聯合新聞網 最新報導(熱門推薦) 退出本田菁英賽 伍茲背傷拉警報 0.873442 [伍茲, 回合, 高於標準桿, 任務] - 6 1393833888788_1_N01 聯合新聞網 運動大聯盟 退出本田菁英賽 伍茲背傷拉警報 0.8710833 [伍茲, 回合, 高於標準桿, 任務] summary from #1 doc - 1 但也有人為伍茲抱不平，ESPN作家沃伊切霍夫斯基 (Gene Wojcieachowski)就撰文為伍茲說話，認為只要與關伍茲有關的事，就會有人以異樣的眼光來看 待，「總之，還是有很多人不信任伍茲‧」 0.04 - 2 即使身子不再年輕，伍茲說，「贏球的信念，從未有所改變！」這是伍茲所堅持的一件事，才能讓他帶著傷勢持續到現在 0.037037037 - 3 歷經抹滅不了的婚外情風暴，不論是私生活或是球場上，只要有關伍茲的事，總是會有正反兩種意見出現，這也是美國媒體對待伍茲的現象 0.032258064

Output examples 6/6 query: 1393965164051_1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 [桃園, 豬肉, 老闆, 協會, 母親, 商品] similar results - 1 1393965164051_1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 0.8598415 [桃園, 豬肉, 老闆, 協會, 母親, 商品] - 2 1393878722191_N01 中時電子報 地方新聞 豬肉漲 生意掉 攤商叫苦 0.7289222 [拍賣, 漲幅, 豬肉] - 3 1394050965730_N01 聯合新聞網 生活新聞 豬價飆漲 小吃店抱歉「肉少放」 0.7207281 [便當, 公斤, 拍賣, 豬肉, 老闆] - 4 1394049954967_N01 聯合新聞網 最新報導(熱門推薦) 豬價飆漲 小吃店抱歉「肉少放」 0.7207281 [便當, 公斤, 拍賣, 豬肉, 老闆] - 5 1393935207633_N01 聯合新聞網 最新報導(熱門推薦) 平抑豬價 台糖不排除提前出豬 0.7207281 [拍賣, 懷孕, 豬肉, 農委會, 小豬] - 6 1393934867720_N01 中央社 財經新聞 平抑豬價 台糖不排除提前出豬 0.7207281 [拍賣, 懷孕, 豬肉, 農委會, 小豬] summary from #1 doc - 1 桃園縣大湳市場「胖子肉乾肉鬆大王」老闆李明式說，農曆年前調漲一波豬肉價格，本以為年菜熱潮過後豬肉價格理當回穩，未料價格飆漲創下50年來新 高，怕流失客人只得咬牙苦撐 0.048780486 - 2 竹北市「謝家記食品行」老闆表示，去年電費調漲，自行吸收成本，但這波豬肉飆太凶，除了肉鬆不調漲，其餘包括肉乾、肉絲等商品都調漲3至4％，「 客人不斷抱怨，很怕沒有生意‧」謝姓業者說，政府若不趕快提出補救措施，夏天一到，豬肉價格還是會有一波調漲，末端豬肉食品業者肯定吃不消 0.03731343 - 3 市場豬肉批發價三級跳，昨站上歷史新高83.65元，預料市價與外食也會漲 0.027777778

Summarization (1) Abstraction Extraction use natural language generation technology to paraphrasing sections of the source document. Extraction copy the important information to the summary (ex. key clauses, sentences or paragraphs)

Summarization (2) Single or Multiple document generate a summary based on a single document, or multiple documents (for example, a cluster of news stories on the same topic). The latter is multi-document summarization systems

Summarization (3) 3 steps for quick implementation Sentences separation Sentences ranking Sentences selection

Deliverables (1) 程式 : 實機展示 結果 : 放入Excel或文字檔

Deliverables (2) 分組展示 每組1~4位同學 不限程式語言 二周後上台展示（現場跑 2 個查詢 + code review） 繳交程式碼與結果 打包壓縮，檔名為學號 ke2014_hw2_學號_學號…zip