Homework 2 : VSM and Summary 楊立偉教授 台灣科大資管系 wyang@ntu.edu.tw © Copyright 2015 by Willie Yang

Requirements Extract keywords using Homework #1 n-gram approach with tf-idf, and extract at least 200 keywords for each topic. Use keywords to tag every document Use VSM to get the cosine similarity Use keywords to generate the summary rank the occurrences of keywords for each sentence.

Detailed requirements (1) List the most similar 7 documents for each query 1427440615049_N01 逾21年未調價 台灣水價僅全球1/5 1427958013238_N01 爽保樂安、樂胃如 恐也用黑心碳酸鎂 1428298064829_N01 阿帕契案洩軍機 勞乃成坦承「做了不該做的事」 1428007295925_N01 昆凌懷孕 周杰倫臉書秀老婆凸肚照 1427660012352_N01 好友郭俊麟奪首勝 周興哲想沾喜氣 1427354105421_N01 祭李光耀 美派柯林頓代表 1427871470025_N01 幸福人壽前老董千萬交保 地院烏龍？ 1427570908187_N01 俄、澳將加入 亞投行已41國申請 1427857112056_N01 陳國恩:持續推動減化警察協辦業務 1427235339440_N01 李光耀辭世 馬赴星私人弔唁

Detailed requirements (2) List the summary (top 3 sentences) for each query from single or multiple documents use punctuations to separate sentences 句末標點符號如，。？！

Additional Requirements Use k-nearest neighbors (kNN) to tag the topic

Query examples Query 1427830978849_N01 柯文哲表態 國台辦讚賞

Output examples 1/2 query: 1427830978849_N01 聯合新聞網 要聞 柯文哲表態 國台辦讚賞 [范麗青, 溝通, 柯文哲, 觀點] similar results - 1 其它 1427830978849_N01 聯合新聞網 要聞 柯文哲表態 國台辦讚賞 0.819943 [范麗青, 溝通, 柯文哲, 觀點] - 2 其它 1427792953767_N01 聯合新聞網 最新報導(熱門推薦) 范麗青：大陸讚賞柯的表態 0.7089634 [范麗青, 溝通, 柯文哲, 九二共識] - 3 兩岸 1427794931149_N01 中央社 兩岸新聞 柯文哲一五觀點 大陸國台辦：讚賞 0.69636005 [范麗青, 溝通, 柯文哲, 觀點, 國內, 九二共識] - 4 財經 1427845109822_N01 中時電子報 財經焦點 國台辦肯定 雙城論壇續辦 0.6276852 [民進黨, 范麗青, 溝通, 柯文哲, 觀點, 市府, 九二共識] - 5 其它 1427833714979_N01 中時電子報 焦點要聞 國台辦肯定 雙城論壇續辦 0.6276852 [民進黨, 范麗青, 溝通, 柯文哲, 觀點, 市府, 九二共識] - 6 其它 1427613209694_N01 聯合新聞網 最新報導(熱門推薦) 柯文哲首長領航營 柯語錄當教材 0.5525696 [溝通, 柯文哲, 課程, 新加坡, 童子賢, 市府, 醫院, 醫療, 台大醫院, 學生, 公司] - 7 兩岸 1427261374718_N01 中央社 兩岸新聞 大陸國台辦：福建自貿區便利兩岸經貿 0.5443782 [地區, 范麗青, 台商, 商品, 創業] knn result : 兩岸 summary from #1 doc - 1 范麗青表示，關於上海與台北兩市舉辦的「雙城論壇」事，上海市會與台北市保持溝通 0.051282052 - 2 大陸國台辦昨天以新聞稿回應柯文哲對兩岸關係的表態 0.04 - 3 大陸國台辦發言人范麗青昨天回應指出，柯文哲的表態，有利台北市與包括上海市在內的大陸城市交流合作，大陸對此表示讚賞 0.03508772

Output examples 2/2 query: 1427397522891_N01 聯合新聞網 要聞 遊客憂水情 石門水庫「看雨」 [用水, 節水, 限水, 萬噸, 遊客, 水庫, 公司] similar results - 1 其它 1427397522891_N01 聯合新聞網 要聞 遊客憂水情 石門水庫「看雨」 0.8125417 [用水, 節水, 限水, 萬噸, 遊客, 水庫, 公司] - 2 其它 1427342052323_N01 聯合新聞網 最新報導(熱門推薦) 雨勢有限 石門水庫下4毫米雨量 0.7377829 [萬噸, 遊客, 水庫] - 3 其它 1427427034754_N01 聯合新聞網 最新報導(熱門推薦) 雨量挹注 石門水庫蓄水率逾22% 0.7301843 [水利, 水庫] - 4 財經 1427591309090_N01 中央社 財經新聞 石門水庫水位續升 苦無雨後援 0.7189173 [再下, 水利, 限水, 工作, 林口, 水庫] - 5 其它 1427429538601_N01 聯合新聞網 最新報導(熱門推薦) 台南水庫進水少 水位持續探底 0.7104606 [用水, 水庫] - 6 其它 1428291049140_N01 中時電子報 產業情報 石門水庫渴盼鋒面降喜雨 0.6980502 [用水, 水利, 限水, 業者, 水庫, 漁船] - 7 其它 1428265178868_N01 中時電子報 地方新聞 石門水庫渴盼鋒面降喜雨 0.6980502 [用水, 水利, 限水, 業者, 水庫, 漁船] knn result : 財經 summary from #1 doc - 1 昨天不少遊客冒雨到石門水庫遊憩，其中林姓遊客說，到了石門水庫，才知道水情真的嚴重，回家會勸家人做好節水準備 0.09259259 - 2 水公司說，水情依舊嚴峻，仍會照計畫實施第三階段限水，請民眾節水外也做好儲水準備 0.075 - 3 受到華南雲帶影響，連續三天降雨量，帶給石門水庫集水區累積雨量66.3毫米，估計帶來1023萬噸水量，可讓石門水庫多供應8天用水 0.0625

Summarization (1) Abstraction Extraction use natural language generation technology to paraphrasing sections of the source document. Extraction copy the important information to the summary (ex. key clauses, sentences or paragraphs)

Summarization (2) Single or Multiple document generate a summary based on a single document, or multiple documents (for example, a cluster of news stories on the same topic). The latter is multi-document summarization systems

Summarization (3) 3 steps for quick implementation Sentences separation Sentences ranking Sentences selection

Deliverables (1) 程式 : 實機展示 結果 : 放入Excel或文字檔

Deliverables (2) 分組展示 每組1~4位同學 不限程式語言 二周後上台展示（現場跑 2 個查詢 + code review） 繳交程式碼與結果 打包壓縮，檔名為學號 ke2015_hw2_學號_學號…zip