Homework 2 : VSM and Summary

Presentation on theme: "Homework 2 : VSM and Summary"— Presentation transcript:

1 Homework 2 : VSM and Summary
楊立偉教授 台灣科大資管系 © Copyright 2014 by Willie Yang

2 Requirements Extract keywords using Homework #1
n-gram approach with tf-idf, and extract at least 200 keywords for each topic Use keywords to tag every document Use VSM to get the cosine similarity Use keywords to generate the summary rank the occurrences of keywords for each sentence.

3 Detailed requirements (1)
List the most similar 6 documents for each query _1_N01 熱身賽首登板 王維中1局飆2K _N01 服貿卡關 出口競爭力卡卡 _N01 俄羅斯 烏克蘭 克里米亞戰爭 倒數計時 _N01 談餘額寶 周小川：不取締 _N01 自由車環台賽 9日台北起跑 _N01 康康挺高凌風演唱會 四處拉票 _N01 前台灣大總座 轉戰台灣之星 _N01 台鐵誤點 出站像逃難 _N01 國道塞爆 車速只有20公里 _N01 民生物資漲幅 飆2年來新高

4 Detailed requirements (2)
List the summary (top 3 sentences) for each query from single or multiple documents use punctuations to separate sentences 句末標點符號如，。？！

5 Query examples Query 1394137749431_1_N01 自己喊募兵捐 國防部遭打臉
_N01 提到PaPa 侯佩岑哽咽落淚 _N01 退出本田菁英賽 伍茲背傷拉警報 _1_N01 豬價飆翻天 小確幸沒了

6 Output examples 1/6 query: _1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] similar results _1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] _N01 中時電子報 焦點要聞 募兵捐 財政國防兩部兜不攏 [午馬, 電視, 張盛和, 閣員, 財政部, 募兵捐, 嚴明, 進口] _N01 聯合新聞網 焦點新聞 開徵募兵捐？ 財長說NO [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] _N01 聯合新聞網 最新報導(熱門推薦) 開徵募兵捐？ 財長說NO [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] _1_N01 中央社 政治新聞 募兵捐 國防部：財政部研究 [財政部, 募兵捐, 嚴明] _N01 聯合新聞網 最新報導(熱門推薦) 募兵捐 國防部：財政部研究 [財政部, 募兵捐, 嚴明] summary from #1 doc - 1 但昨中午，張盛和出席國民黨團大會時卻否認開徵募兵捐 國防部長嚴明昨在立法院證實，正與行政院、財政部研究開徵「募兵捐」，挹注國防部所屬基金 針對財源不足問題，綠委蕭美琴昨早在立院委員會詢問嚴明，政院是否討論開徵募兵捐？嚴明證實此事

7 Output examples 2/6 query: _N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] similar results _N01 聯合新聞網 運動大聯盟 春訓首戰沒球速 建仔：不能硬催 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] _N01 聯合新聞網 體壇動態 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] _N01 聯合新聞網 最新報導(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] _N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] _N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] _N01 聯合新聞網 最新報導(熱門推薦) 王建民春訓初登場 2日戰洛磯 [王建民, 建仔, 洛磯] summary from #1 doc - 1 王建民昨天面對洛磯隊，擔任第2任投手，中繼兩局失1分；紅人終場3：2獲勝，建仔在紀錄上獲得1個中繼點 失分出現在第3局，解決首名打者後，王建民被連續打出兩安，洛磯攻占二、三壘，亞瑞納度適時擊出安打，洛磯攻下1分 另一方面，建仔今年春訓一個重點就是變速球，他希望能練到對左打、右打都能使用，搭配伸卡更有利；紅人投手教練皮柯也提醒他，右手腕不要偏掉

8 Output examples 3/6 query: _1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢, 就業, 企 業, 性別, 修法] similar results _1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢 , 就業, 企業, 性別, 修法] _N01 中央社 地方新聞 新北首創 擬增產檢假陪產檢假 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] _N01 聯合新聞網 最新報導(熱門推薦) 新北首創 擬增產檢假陪產檢假 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] _N01 蘋果日報 要聞總覽 新北延長陪產假 中央研擬跟進 [基隆, 勞動部, 提案, 縣市, 懷孕, 郝龍斌, 新北市, 勞工, 二日, 陪產, 產檢, 就業, 企業] _N01 聯合新聞網 焦點新聞 勞動部：新北產檢假只是創一個名詞 [女性, 勞動部, 照顧, 新北市, 勞工, 男性, 陪產, 產檢, 就業, 性 別, 修法] _N01 中央社 地方新聞 新北送福利 設產檢與陪產假 [受僱者, 檢驗, 專業, 幼兒, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 產檢, 訓練, 性別] summary from #1 doc - 1 勞動部：將研議修法新北市首創產檢假及陪產檢假，勞動部強調支持，並將審慎研議修法 勞動部勞動條件及就業平等司長劉傳名說，雖然性別平等法沒有產檢假、陪產檢假的假別，但勞工還是可以用事假、特休假、病假、家庭照顧假等名義請假 ，中央規定較有彈性，「新北市只是新創了產檢假及陪產檢假兩個名詞」 陪產檢假2天 陪產7天勞工局勞資關係科長陳聖聰指出，只要設立在新北市的企業或勞雇關係發生在新北市者，即適用這項規定

9 Output examples 4/6 query: _N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] similar results _N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] _N01 蘋果日報 娛樂總覽 侯佩岑 與母神隱沒為邱嘉雄送終 挺3月肚擋絕情罪名 [雙手, 女性, 婚禮, 懷孕, 主播, 林月雲, 侯佩岑, 邱 嘉雄, 媽媽, 場合, 經紀, 國泰, 母親, 家屬, 長輩] _N01 蘋果日報 娛樂總覽 侯佩岑露面吞絕情惡名 聞Papa含淚快閃 [公斤, 婚禮, 懷孕, 林月雲, 體重, 侯佩岑, 邱嘉雄, 媽媽, 控制] _N01 聯合新聞網 最新報導(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 [AV, 懷孕, 侯佩岑, 邱嘉雄] _N01 聯合新聞網 udn發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 [AV, 懷孕, 侯佩岑, 邱嘉雄] _N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 [AV, 懷孕, 侯佩岑, 邱嘉雄] summary from #1 doc - 1 侯佩岑的母親林月雲與贊泰建設董事長邱嘉雄有長達31年婚外情，邱嘉雄在農曆年前病逝，壹週刊日前報導邱嘉雄身後的遺產，大多數都留給林月雲，但 林月雲與侯佩岑卻因「身分尷尬」未出席喪禮 至於肚裡孩子是男是女，侯佩岑表示，大多數人賭會是男生，她之前有看一部美國歌手碧昂絲的懷孕紀錄片，裡面提到懷孕過程沒有感覺，但生完才會知道 自己的責任，她現在只希望孩子能順利出生又健康 （中央社記者徐卉台北7日電）藝人侯佩岑日前未出席「PaPa」邱嘉雄喪禮，侯佩岑今天出席活動被問及此事，她立即哽咽落淚說，「會用自己的方式紀念 」

10 Output examples 5/6 query: _N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] similar results _N01 聯合新聞網 最新報導(熱門推薦) ESPN作家：伍茲受傷 不是沒運動精神 [伍茲, 留言, 傷口] _N01 聯合新聞網 體壇動態 ESPN作家：伍茲受傷 不是沒運動精神 [伍茲, 留言, 傷口] _N01 聯合新聞網 運動大聯盟 ESPN作家：伍茲受傷 不是沒運動精神 [伍茲, 留言, 傷口] _N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] _N01 聯合新聞網 最新報導(熱門推薦) 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] _1_N01 聯合新聞網 運動大聯盟 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] summary from #1 doc - 1 但也有人為伍茲抱不平，ESPN作家沃伊切霍夫斯基 (Gene Wojcieachowski)就撰文為伍茲說話，認為只要與關伍茲有關的事，就會有人以異樣的眼光來看 待，「總之，還是有很多人不信任伍茲‧」 即使身子不再年輕，伍茲說，「贏球的信念，從未有所改變！」這是伍茲所堅持的一件事，才能讓他帶著傷勢持續到現在 歷經抹滅不了的婚外情風暴，不論是私生活或是球場上，只要有關伍茲的事，總是會有正反兩種意見出現，這也是美國媒體對待伍茲的現象

11 Output examples 6/6 query: _1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 [桃園, 豬肉, 老闆, 協會, 母親, 商品] similar results _1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 [桃園, 豬肉, 老闆, 協會, 母親, 商品] _N01 中時電子報 地方新聞 豬肉漲 生意掉 攤商叫苦 [拍賣, 漲幅, 豬肉] _N01 聯合新聞網 生活新聞 豬價飆漲 小吃店抱歉「肉少放」 [便當, 公斤, 拍賣, 豬肉, 老闆] _N01 聯合新聞網 最新報導(熱門推薦) 豬價飆漲 小吃店抱歉「肉少放」 [便當, 公斤, 拍賣, 豬肉, 老闆] _N01 聯合新聞網 最新報導(熱門推薦) 平抑豬價 台糖不排除提前出豬 [拍賣, 懷孕, 豬肉, 農委會, 小豬] _N01 中央社 財經新聞 平抑豬價 台糖不排除提前出豬 [拍賣, 懷孕, 豬肉, 農委會, 小豬] summary from #1 doc - 1 桃園縣大湳市場「胖子肉乾肉鬆大王」老闆李明式說，農曆年前調漲一波豬肉價格，本以為年菜熱潮過後豬肉價格理當回穩，未料價格飆漲創下50年來新 高，怕流失客人只得咬牙苦撐 竹北市「謝家記食品行」老闆表示，去年電費調漲，自行吸收成本，但這波豬肉飆太凶，除了肉鬆不調漲，其餘包括肉乾、肉絲等商品都調漲3至4％，「 客人不斷抱怨，很怕沒有生意‧」謝姓業者說，政府若不趕快提出補救措施，夏天一到，豬肉價格還是會有一波調漲，末端豬肉食品業者肯定吃不消 市場豬肉批發價三級跳，昨站上歷史新高83.65元，預料市價與外食也會漲

12 Summarization (1) Abstraction Extraction
use natural language generation technology to paraphrasing sections of the source document. Extraction copy the important information to the summary (ex. key clauses, sentences or paragraphs)

13 Summarization (2) Single or Multiple document
generate a summary based on a single document, or multiple documents (for example, a cluster of news stories on the same topic). The latter is multi-document summarization systems

14 Summarization (3) 3 steps for quick implementation
Sentences separation Sentences ranking Sentences selection

15 Deliverables (1) 程式 : 實機展示 結果 : 放入Excel或文字檔

16 Deliverables (2) 分組展示 每組1~4位同學 不限程式語言 二周後上台展示（現場跑 2 個查詢 + code review）
繳交程式碼與結果 打包壓縮，檔名為學號 ke2014_hw2_學號_學號…zip