Homework 2 : VSM and Summary

Presentation on theme: "Homework 2 : VSM and Summary"— Presentation transcript:

1 Homework 2 : VSM and Summary
楊立偉教授 台灣科大資管系 © Copyright 2015 by Willie Yang

2 Requirements Extract keywords using Homework #1
n-gram approach with tf-idf, and extract at least 200 keywords for each topic. Use keywords to tag every document Use VSM to get the cosine similarity Use keywords to generate the summary rank the occurrences of keywords for each sentence.

3 Detailed requirements (1)
List the most similar 7 documents for each query _N01 逾21年未調價 台灣水價僅全球1/5 _N01 爽保樂安、樂胃如 恐也用黑心碳酸鎂 _N01 阿帕契案洩軍機 勞乃成坦承「做了不該做的事」 _N01 昆凌懷孕 周杰倫臉書秀老婆凸肚照 _N01 好友郭俊麟奪首勝 周興哲想沾喜氣 _N01 祭李光耀 美派柯林頓代表 _N01 幸福人壽前老董千萬交保 地院烏龍？ _N01 俄、澳將加入 亞投行已41國申請 _N01 陳國恩:持續推動減化警察協辦業務 _N01 李光耀辭世 馬赴星私人弔唁

4 Detailed requirements (2)
List the summary (top 3 sentences) for each query from single or multiple documents use punctuations to separate sentences 句末標點符號如，。？！

5 Additional Requirements
Use k-nearest neighbors (kNN) to tag the topic

6 Query examples Query 1427830978849_N01 柯文哲表態 國台辦讚賞

7 Output examples 1/2 query: _N01 聯合新聞網 要聞 柯文哲表態 國台辦讚賞 [范麗青, 溝通, 柯文哲, 觀點] similar results - 1 其它 _N01 聯合新聞網 要聞 柯文哲表態 國台辦讚賞 [范麗青, 溝通, 柯文哲, 觀點] - 2 其它 _N01 聯合新聞網 最新報導(熱門推薦) 范麗青：大陸讚賞柯的表態 [范麗青, 溝通, 柯文哲, 九二共識] - 3 兩岸 _N01 中央社 兩岸新聞 柯文哲一五觀點 大陸國台辦：讚賞 [范麗青, 溝通, 柯文哲, 觀點, 國內, 九二共識] - 4 財經 _N01 中時電子報 財經焦點 國台辦肯定 雙城論壇續辦 [民進黨, 范麗青, 溝通, 柯文哲, 觀點, 市府, 九二共識] - 5 其它 _N01 中時電子報 焦點要聞 國台辦肯定 雙城論壇續辦 [民進黨, 范麗青, 溝通, 柯文哲, 觀點, 市府, 九二共識] - 6 其它 _N01 聯合新聞網 最新報導(熱門推薦) 柯文哲首長領航營 柯語錄當教材 [溝通, 柯文哲, 課程, 新加坡, 童子賢, 市府, 醫院, 醫療, 台大醫院, 學生, 公司] - 7 兩岸 _N01 中央社 兩岸新聞 大陸國台辦：福建自貿區便利兩岸經貿 [地區, 范麗青, 台商, 商品, 創業] knn result : 兩岸 summary from #1 doc - 1 范麗青表示，關於上海與台北兩市舉辦的「雙城論壇」事，上海市會與台北市保持溝通 大陸國台辦昨天以新聞稿回應柯文哲對兩岸關係的表態 大陸國台辦發言人范麗青昨天回應指出，柯文哲的表態，有利台北市與包括上海市在內的大陸城市交流合作，大陸對此表示讚賞

8 Output examples 2/2 query: _N01 聯合新聞網 要聞 遊客憂水情 石門水庫「看雨」 [用水, 節水, 限水, 萬噸, 遊客, 水庫, 公司] similar results - 1 其它 _N01 聯合新聞網 要聞 遊客憂水情 石門水庫「看雨」 [用水, 節水, 限水, 萬噸, 遊客, 水庫, 公司] - 2 其它 _N01 聯合新聞網 最新報導(熱門推薦) 雨勢有限 石門水庫下4毫米雨量 [萬噸, 遊客, 水庫] - 3 其它 _N01 聯合新聞網 最新報導(熱門推薦) 雨量挹注 石門水庫蓄水率逾22% [水利, 水庫] - 4 財經 _N01 中央社 財經新聞 石門水庫水位續升 苦無雨後援 [再下, 水利, 限水, 工作, 林口, 水庫] - 5 其它 _N01 聯合新聞網 最新報導(熱門推薦) 台南水庫進水少 水位持續探底 [用水, 水庫] - 6 其它 _N01 中時電子報 產業情報 石門水庫渴盼鋒面降喜雨 [用水, 水利, 限水, 業者, 水庫, 漁船] - 7 其它 _N01 中時電子報 地方新聞 石門水庫渴盼鋒面降喜雨 [用水, 水利, 限水, 業者, 水庫, 漁船] knn result : 財經 summary from #1 doc - 1 昨天不少遊客冒雨到石門水庫遊憩，其中林姓遊客說，到了石門水庫，才知道水情真的嚴重，回家會勸家人做好節水準備 水公司說，水情依舊嚴峻，仍會照計畫實施第三階段限水，請民眾節水外也做好儲水準備 受到華南雲帶影響，連續三天降雨量，帶給石門水庫集水區累積雨量66.3毫米，估計帶來1023萬噸水量，可讓石門水庫多供應8天用水

9 Summarization (1) Abstraction Extraction
use natural language generation technology to paraphrasing sections of the source document. Extraction copy the important information to the summary (ex. key clauses, sentences or paragraphs)

10 Summarization (2) Single or Multiple document
generate a summary based on a single document, or multiple documents (for example, a cluster of news stories on the same topic). The latter is multi-document summarization systems

11 Summarization (3) 3 steps for quick implementation
Sentences separation Sentences ranking Sentences selection

12 Deliverables (1) 程式 : 實機展示 結果 : 放入Excel或文字檔

13 Deliverables (2) 分組展示 每組1~4位同學 不限程式語言 二周後上台展示（現場跑 2 個查詢 + code review）
繳交程式碼與結果 打包壓縮，檔名為學號 ke2015_hw2_學號_學號…zip