Homework 2 : VSM and Summary

Slides:



Advertisements
Similar presentations
关于中国色情产业合法化的伦理学讨论 张雅萱 周嘉言 史翔瑞 詹智超.
Advertisements

DOC 推廣活動 月餅星光大道. 中秋  農曆八月十五日,是中國傳統的中秋節。 古人將一年分成春夏秋冬四季,而一季又 分為孟、仲、季三月,八月是仲秋之月, 而十五又是這個月中間的一天,正處在秋 季的正中,所以把八月十五稱為「中秋」 或「仲秋」。  中秋夜,月亮最圓,月色最美,因此人們 把月圓看成是團圓的象徵,同時也稱八月.
宜蘭高中歡迎您~ 101 學年度第 1 學期 高三親師座談會 宜蘭高中主任輔導教師 陳美璊報告 陪他走一段~ 多元入學與親子課題 宜中 高三親師座談會.
中 五 級中 五 級 戰後國共關係 與 中華人民共和國成立 中國歷史科 1 )認識國共政治協商的概況 2 )認識國共內戰的概略經過及結果 3 )中華人民共和國成立.
篮球 —— 我的导师! (北京第二实验小学) 华应龙 “ 我的幸运,流畅得有如 荷马的诗句。 ” “ 我的幸运,流畅得有如 荷马的诗句。 ” -- 培根 -- 培根.
不吃早餐的影響: 體內的葡萄糖無法 足夠供應給大腦與 肌肉,會感覺疲勞, 注意力無法集中。。 營養的早餐:乳品 + 全榖類食品 + 蛋白質 + 水果 早餐你吃了嗎?
河北衡水中学 康新江 高效课堂与激情教育 河北衡水中学 康新江
人文地理專題研究 王志明.
2014 年上学期 湖南长郡卫星远程学校 制作 13 Getting news from the Internet.
2014年爱婴医院复核方案解读 省卫生计生委妇幼处 邱灵.
导言 第四 单元 凡尔赛—华盛顿体系与第二次世界大战
目錄 服務地點 南寮 世光教養院 飛鳳山 長安養老院 尖石國小 內灣 大華停車場 上智國小 二重國中 班級 領隊教師 參與人數 (人次)
社團經費申請 及核銷相關規定 製作:世新大學會計室.
会计实验.
第8章 组织中的人员配备 问题与思考: 海信集团使用“空降兵”,海尔集团与宝洁公司 则不使用空降兵。各自的道理何在?与器官移植 有哪些异同点? 在中低端饭店行业,何种绩效管理模式能使员工 的行为与企业的长远利益相一致?桃源大酒店、 城南往事和微山湖鱼馆的案例。 公司是不是员工的家?该不该是员工的家?
“卓越工程师”培养的质量保障体系构建探索
恒泰期货研究所2016年 期债暴跌告一段落,短期波动降低 国债期货周报
土地出让转让的政策与实务 岳晓武 国土资源部利用司.
Classification of Web Query Intent Using Encyclopedia 基于百科知识的查询意图获取
老師:鍾郁芬 老師 指導 組長:陳欣怡 組員:曾郁雯 倪敏富 王宣化 簡宏倫 黃郁涵
题目回顾 泉水在地下蓄积,一旦有机会,它便骄傲地涌出地面,成为众人瞩目的喷泉,继而汇成溪流,奔向远方。但人们对地下的泉水鲜有关注,其实,正是因为有地下那些默默不语的泉水的不断聚集,才有地上那一股股清泉的不停喷涌。 请根据你对材料的理解和感悟,自选一个角度,写一篇不少于800字的文章,文体自定,标题自拟。要求:立意明确,不要套作,不得抄袭。
校內科學園遊會 製作說明會 教務處設備組
广 东 技 术 师 范 学 院 美术学院 装潢专业 2012级(3)班 郑可珊
第十九章 散文 教学要求: 了解散文的含义、分类、特点,学习写作抒情散文。 重点: 散文的特点,散文的写作。 难点: 散文的写作训练。
华东师范大学软件学院 王科强 (第一作者), 王晓玲
請開喇叭 我的家鄉我的情 2年11班 黃筑筠.
Project Description.
农机化项目管理培训会 柳州市农机局 郑崇宁
一二·九运动                                                                    0712班.
Campus commodities 校園商品 陳郁文.
中小学教育科研课题的选择 王典伟.
股市不傳之秘 甘氏矩陣圖/價格推算 簡介、基礎學習步驟 1、學習觀念 2、基礎看圖法 A.大數推算 B.基礎角度線推算.
出口农产品风险管理 企业分类及监督管理表格
● 四 (2)班 家 长 网络交 流 会 ● 快乐成长 与您 共享 家庭 学校 社会.
学科科研工作与科研 奖励政策解读讲座 朱文斌 博士 教授 2015年9月8日.
第9章 金融监管.
首都师范大学.
關心今天的老人, 就是關心明天的自己 作者:周儀.
Government Document Management System 公 文 整 合 管 理 系 統
CCF-ADL 58 大媒体与大数据分析 北京·清华大学
信息检索的评价 哈工大计算机学院 信息检索研究室 2007.
第一章 線性方程組.
从百科类网站抽取infobox 报告人:徐波.
Semantic Navigation Liang Zheng.
数据摘要现状调研报告 上下文摘要初步思考 徐丹云.
二、雅思学术类阅读题型 10种题型 5种大题型+5种小题型.
Term Project : Requirement
第八单元 Word和Excel 进阶应用.
《郑伯克段于鄢》 黎兰老师制作.
SAP Query 建立User Group (SQ03) 建立Infoset (SQ02)
如果你的冰箱中有食物,身上有衣服,有陋室一間,有可睡覺的地方….
Learn Question Focus and Dependency Relations from Web Search Results for Question Classification 各位老師大家好,這是我今天要報告的論文題目,…… 那在題目上的括號是因為,前陣子我們有投airs的paper,那有reviewer對model的名稱產生意見.
西南大学计算机系 郭云龙 徐潇 向宇 曾维刚 李莉
指導老師:邱登裕老師 組員:B 張萬鈞 B 鄭瑞傑 B 蔡譯陞 B 胡瑜真
More About Auto-encoder
窗 外 林文月 10 周芸廷 14 邱婷鈺 16 康毓芷.
參考資料: 林秋燕 曾元顯 卜小蝶,Chap. 1、3 Chowdhury,Chap.9
軟體介紹與說明.
參考書籍:林惠玲與陳正倉(2002),應用統計學(第二版)。台北:雙葉書廊有限公司。
仲裁处理细则及常见问题解析.
嘉義縣立溪口國民中學 辦理96年度推動自由軟體學校資訊融入教學
105學年度第2學期 會計室業務重點宣導 106年3月8日.
第15章 管理创新的基本原理 问题与思考: 大学生活近一个学期了,你的学习效果如何?下学期你有创新的思路吗?
校內科學園遊會 製作說明會 教務處設備組
楊立偉教授 台灣科大資管系 © Copyright 2016 by Willie Yang
楊立偉教授 台灣科大資管系 © Copyright 2015 by Willie Yang
Term Project : Requirement
英语口译 4 Education and Campus 大学英语教学部 向丁丁.
Homework 2 : VSM and Summary
Presentation transcript:

Homework 2 : VSM and Summary 楊立偉教授 台灣科大資管系 wyang@ntu.edu.tw © Copyright 2014 by Willie Yang

Requirements Extract keywords using Homework #1 n-gram approach with tf-idf, and extract at least 200 keywords for each topic Use keywords to tag every document Use VSM to get the cosine similarity Use keywords to generate the summary rank the occurrences of keywords for each sentence.

Detailed requirements (1) List the most similar 6 documents for each query 1393924219057_1_N01 熱身賽首登板 王維中1局飆2K 1393793583281_N01 服貿卡關 出口競爭力卡卡 1393792680648_N01 俄羅斯 烏克蘭 克里米亞戰爭 倒數計時 1393903770008_N01 談餘額寶 周小川:不取締 1394180338658_N01 自由車環台賽 9日台北起跑 1394105127891_N01 康康挺高凌風演唱會 四處拉票 1393816909339_N01 前台灣大總座 轉戰台灣之星 1393619466219_N01 台鐵誤點 出站像逃難 1393619409139_N01 國道塞爆 車速只有20公里 1394051127145_N01 民生物資漲幅 飆2年來新高

Detailed requirements (2) List the summary (top 3 sentences) for each query from single or multiple documents use punctuations to separate sentences 句末標點符號如,。?!

Query examples Query 1394137749431_1_N01 自己喊募兵捐 國防部遭打臉 1394183941786_N01 提到PaPa 侯佩岑哽咽落淚 1393834443757_N01 退出本田菁英賽 伍茲背傷拉警報 1393965164051_1_N01 豬價飆翻天 小確幸沒了

Output examples 1/6 query: 1394137749431_1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] similar results - 1 1394137749431_1_N01 蘋果日報 要聞總覽 自己喊募兵捐 國防部遭打臉 0.8965748 [張盛和, 黨團, 財政部, 加薪, 募兵捐, 國民黨, 嚴明, 三年] - 2 1394138019183_N01 中時電子報 焦點要聞 募兵捐 財政國防兩部兜不攏 0.879695 [午馬, 電視, 張盛和, 閣員, 財政部, 募兵捐, 嚴明, 進口] - 3 1394135816129_N01 聯合新聞網 焦點新聞 開徵募兵捐? 財長說NO 0.8756659 [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] - 4 1394135410629_N01 聯合新聞網 最新報導(熱門推薦) 開徵募兵捐? 財長說NO 0.8756659 [張盛和, 五十, 財政部, 投資, 條例, 募兵捐, 嚴明] - 5 1394086302493_1_N01 中央社 政治新聞 募兵捐 國防部:財政部研究 0.8624651 [財政部, 募兵捐, 嚴明] - 6 1394088320030_N01 聯合新聞網 最新報導(熱門推薦) 募兵捐 國防部:財政部研究 0.8624651 [財政部, 募兵捐, 嚴明] summary from #1 doc - 1 但昨中午,張盛和出席國民黨團大會時卻否認開徵募兵捐 0.15384616 - 2 國防部長嚴明昨在立法院證實,正與行政院、財政部研究開徵「募兵捐」,挹注國防部所屬基金 0.069767445 - 3 針對財源不足問題,綠委蕭美琴昨早在立院委員會詢問嚴明,政院是否討論開徵募兵捐?嚴明證實此事 0.06521739

Output examples 2/6 query: 1393824125833_N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] similar results - 1 1393818125982_N01 聯合新聞網 運動大聯盟 春訓首戰沒球速 建仔:不能硬催 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 2 1393789433200_N01 聯合新聞網 體壇動態 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 3 1393788487017_N01 聯合新聞網 最新報導(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 4 1393824125833_N01 聯合新聞網 udn發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 5 1393813011152_N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 拿下中繼點 建仔穩住第一步 0.8946073 [三振, 搭配, 王建民, 建仔, 洛磯, 教練] - 6 1393655071683_N01 聯合新聞網 最新報導(熱門推薦) 王建民春訓初登場 2日戰洛磯 0.83611137 [王建民, 建仔, 洛磯] summary from #1 doc - 1 王建民昨天面對洛磯隊,擔任第2任投手,中繼兩局失1分;紅人終場3:2獲勝,建仔在紀錄上獲得1個中繼點 0.05882353 - 2 失分出現在第3局,解決首名打者後,王建民被連續打出兩安,洛磯攻占二、三壘,亞瑞納度適時擊出安打,洛磯攻下1分 0.054545455 - 3 另一方面,建仔今年春訓一個重點就是變速球,他希望能練到對左打、右打都能使用,搭配伸卡更有利;紅人投手教練皮柯也提醒他,右手腕不要偏掉 0.04477612

Output examples 3/6 query: 1393965125505_1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢, 就業, 企 業, 性別, 修法] similar results - 1 1393965125505_1_N01 中時電子報 焦點要聞 新北放產檢假 北市擬跟進 0.93168163 [家庭, 勞動部, 縣市, 照顧, 懷孕, 郝龍斌, 條例, 新北市, 勞工, 陪產, 產檢 , 就業, 企業, 性別, 修法] - 2 1393848980357_N01 中央社 地方新聞 新北首創 擬增產檢假陪產檢假 0.8391725 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] - 3 1393852144855_N01 聯合新聞網 最新報導(熱門推薦) 新北首創 擬增產檢假陪產檢假 0.8306215 [菲律賓, 婦女, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 獎金, 產檢, 訓練, 性別, 法國] - 4 1394051700013_N01 蘋果日報 要聞總覽 新北延長陪產假 中央研擬跟進 0.8218337 [基隆, 勞動部, 提案, 縣市, 懷孕, 郝龍斌, 新北市, 勞工, 二日, 陪產, 產檢, 就業, 企業] - 5 1393962183515_N01 聯合新聞網 焦點新聞 勞動部:新北產檢假只是創一個名詞 0.81532884 [女性, 勞動部, 照顧, 新北市, 勞工, 男性, 陪產, 產檢, 就業, 性 別, 修法] - 6 1393947432598_N01 中央社 地方新聞 新北送福利 設產檢與陪產假 0.81208795 [受僱者, 檢驗, 專業, 幼兒, 照顧, 員工, 懷孕, 產後, 條例, 復職, 新北市, 勞工, 陪產, 產檢, 訓練, 性別] summary from #1 doc - 1 勞動部:將研議修法新北市首創產檢假及陪產檢假,勞動部強調支持,並將審慎研議修法 0.2 - 2 勞動部勞動條件及就業平等司長劉傳名說,雖然性別平等法沒有產檢假、陪產檢假的假別,但勞工還是可以用事假、特休假、病假、家庭照顧假等名義請假 ,中央規定較有彈性,「新北市只是新創了產檢假及陪產檢假兩個名詞」 0.12871288 - 3 陪產檢假2天 陪產7天勞工局勞資關係科長陳聖聰指出,只要設立在新北市的企業或勞雇關係發生在新北市者,即適用這項規定 0.12068965

Output examples 4/6 query: 1394183941786_N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] similar results - 1 1394183941786_N01 中央社 影劇新聞 提到PaPa 侯佩岑哽咽落淚 0.91770494 [節目, 懷孕, 林月雲, 侯佩岑, 邱嘉雄, 孩子, 母親] - 2 1394050719054_N01 蘋果日報 娛樂總覽 侯佩岑 與母神隱沒為邱嘉雄送終 挺3月肚擋絕情罪名 0.8925648 [雙手, 女性, 婚禮, 懷孕, 主播, 林月雲, 侯佩岑, 邱 嘉雄, 媽媽, 場合, 經紀, 國泰, 母親, 家屬, 長輩] - 3 1394225696000_N01 蘋果日報 娛樂總覽 侯佩岑露面吞絕情惡名 聞Papa含淚快閃 0.8858374 [公斤, 婚禮, 懷孕, 林月雲, 體重, 侯佩岑, 邱嘉雄, 媽媽, 控制] - 4 1394178009198_N01 聯合新聞網 最新報導(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] - 5 1394186975566_N01 聯合新聞網 udn發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] - 6 1394184176382_N01 聯合新聞網 聯合報發燒新聞(熱門推薦) 未出席邱嘉雄喪禮 侯佩岑哽咽落淚 0.772114 [AV, 懷孕, 侯佩岑, 邱嘉雄] summary from #1 doc - 1 侯佩岑的母親林月雲與贊泰建設董事長邱嘉雄有長達31年婚外情,邱嘉雄在農曆年前病逝,壹週刊日前報導邱嘉雄身後的遺產,大多數都留給林月雲,但 林月雲與侯佩岑卻因「身分尷尬」未出席喪禮 0.101123594 - 2 至於肚裡孩子是男是女,侯佩岑表示,大多數人賭會是男生,她之前有看一部美國歌手碧昂絲的懷孕紀錄片,裡面提到懷孕過程沒有感覺,但生完才會知道 自己的責任,她現在只希望孩子能順利出生又健康 0.054945055 - 3 (中央社記者徐卉台北7日電)藝人侯佩岑日前未出席「PaPa」邱嘉雄喪禮,侯佩岑今天出席活動被問及此事,她立即哽咽落淚說,「會用自己的方式紀念 」 0.041666668

Output examples 5/6 query: 1393834443757_N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 [伍茲, 回合, 高於標準桿, 任務] similar results - 1 1394081432043_N01 聯合新聞網 最新報導(熱門推薦) ESPN作家:伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 2 1394086430951_N01 聯合新聞網 體壇動態 ESPN作家:伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 3 1394097825861_N01 聯合新聞網 運動大聯盟 ESPN作家:伍茲受傷 不是沒運動精神 0.8754474 [伍茲, 留言, 傷口] - 4 1393834443757_N01 聯合新聞網 體壇動態 退出本田菁英賽 伍茲背傷拉警報 0.873442 [伍茲, 回合, 高於標準桿, 任務] - 5 1393831269882_N01 聯合新聞網 最新報導(熱門推薦) 退出本田菁英賽 伍茲背傷拉警報 0.873442 [伍茲, 回合, 高於標準桿, 任務] - 6 1393833888788_1_N01 聯合新聞網 運動大聯盟 退出本田菁英賽 伍茲背傷拉警報 0.8710833 [伍茲, 回合, 高於標準桿, 任務] summary from #1 doc - 1 但也有人為伍茲抱不平,ESPN作家沃伊切霍夫斯基 (Gene Wojcieachowski)就撰文為伍茲說話,認為只要與關伍茲有關的事,就會有人以異樣的眼光來看 待,「總之,還是有很多人不信任伍茲‧」 0.04 - 2 即使身子不再年輕,伍茲說,「贏球的信念,從未有所改變!」這是伍茲所堅持的一件事,才能讓他帶著傷勢持續到現在 0.037037037 - 3 歷經抹滅不了的婚外情風暴,不論是私生活或是球場上,只要有關伍茲的事,總是會有正反兩種意見出現,這也是美國媒體對待伍茲的現象 0.032258064

Output examples 6/6 query: 1393965164051_1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 [桃園, 豬肉, 老闆, 協會, 母親, 商品] similar results - 1 1393965164051_1_N01 中時電子報 焦點要聞 豬價飆翻天 小確幸沒了 0.8598415 [桃園, 豬肉, 老闆, 協會, 母親, 商品] - 2 1393878722191_N01 中時電子報 地方新聞 豬肉漲 生意掉 攤商叫苦 0.7289222 [拍賣, 漲幅, 豬肉] - 3 1394050965730_N01 聯合新聞網 生活新聞 豬價飆漲 小吃店抱歉「肉少放」 0.7207281 [便當, 公斤, 拍賣, 豬肉, 老闆] - 4 1394049954967_N01 聯合新聞網 最新報導(熱門推薦) 豬價飆漲 小吃店抱歉「肉少放」 0.7207281 [便當, 公斤, 拍賣, 豬肉, 老闆] - 5 1393935207633_N01 聯合新聞網 最新報導(熱門推薦) 平抑豬價 台糖不排除提前出豬 0.7207281 [拍賣, 懷孕, 豬肉, 農委會, 小豬] - 6 1393934867720_N01 中央社 財經新聞 平抑豬價 台糖不排除提前出豬 0.7207281 [拍賣, 懷孕, 豬肉, 農委會, 小豬] summary from #1 doc - 1 桃園縣大湳市場「胖子肉乾肉鬆大王」老闆李明式說,農曆年前調漲一波豬肉價格,本以為年菜熱潮過後豬肉價格理當回穩,未料價格飆漲創下50年來新 高,怕流失客人只得咬牙苦撐 0.048780486 - 2 竹北市「謝家記食品行」老闆表示,去年電費調漲,自行吸收成本,但這波豬肉飆太凶,除了肉鬆不調漲,其餘包括肉乾、肉絲等商品都調漲3至4%,「 客人不斷抱怨,很怕沒有生意‧」謝姓業者說,政府若不趕快提出補救措施,夏天一到,豬肉價格還是會有一波調漲,末端豬肉食品業者肯定吃不消 0.03731343 - 3 市場豬肉批發價三級跳,昨站上歷史新高83.65元,預料市價與外食也會漲 0.027777778

Summarization (1) Abstraction Extraction use natural language generation technology to paraphrasing sections of the source document. Extraction copy the important information to the summary (ex. key clauses, sentences or paragraphs)

Summarization (2) Single or Multiple document generate a summary based on a single document, or multiple documents (for example, a cluster of news stories on the same topic). The latter is multi-document summarization systems

Summarization (3) 3 steps for quick implementation Sentences separation Sentences ranking Sentences selection

Deliverables (1) 程式 : 實機展示 結果 : 放入Excel或文字檔

Deliverables (2) 分組展示 每組1~4位同學 不限程式語言 二周後上台展示(現場跑 2 個查詢 + code review) 繳交程式碼與結果 打包壓縮,檔名為學號 ke2014_hw2_學號_學號…zip