Deep learning 调研.

Slides:



Advertisements
Similar presentations
手工加工全框眼镜技术 前调整确定加工基准制作模板割边 磨边磨安全角 (抛光) 装配 后调整检测.
Advertisements

导数 导数 一、主要内容 微分 第二章 习题课 二、典型例题. 求 导 法 则求 导 法 则 求 导 法 则求 导 法 则 基本公式 导 数 导 数 高阶导数 一、主要内容 微 分微 分 微 分微 分.
文学灵感论 蓦然回首,那人却在灯火阑珊处 ……. 生活中、科学中的灵感 运动鞋 电梯 阿基米德与皇冠 牛顿的三大定律.
融资融券业务的保证金与保证金比例 光大证券 · 信用业务管理总部 2015 年 12 月 ★融资融券业务投资者教育活动材料★
飲料備製 ( 作業十 ) 組員 : 9A0M0009 林昆樺 9A0M0026 李元盛 9A0M0031 林殷正 ( 組長 ) 9A0M0046 邱于倫 9A0M0048 林裕嘉 9A0M0054 巫紀樺 指導老師 : 葉佳聖.
道家養生保健長壽藥膳 藥膳應用原則: 天人相應,道法自然 藥膳有兩個職能: 一是保健增壽,一是治療疾病。 ◎ 黃蕙棻.
病历书写 中山医院呼吸科 张 新. 定 义 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理, 按照规定的格式而写成的;是关于病人发病情况, 病情发展变化,转归和诊疗情况的系统记录。 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理,
三信家商「 105 學年度」 升學進路暨報名作業說明會 教務處實研組 教務處 實研組 日期︰ 104 年 10 月 19 日 時間: am 10:00~11:50 地點:教學行政大樓 7F 講堂.
第十二章 病历书写与要求 病历病历 医务人员在医疗中形成的文字、符号、图表、 影像、切片等资料的总和。 病历书写 通过诊法、诊断、治疗、护理等医疗活动获得有关资 料,进行归纳、分析、整理形成医疗活动记录行为。 病历意义 A 诊疗等的源文件; B 复 / 转 / 会诊,解决医疗纠纷、判定法律责任、医疗保险等的资料和依据;
第二节 脉搏的评估及异 常时的护理. 教学目标  1 、解释有关名词  2 、说出脉搏、呼吸的正常值  3 、叙述脉搏、呼吸的测量方法;识别脉搏、 呼吸的异常变化  4 、叙述测量脉搏、呼吸的注意事项  5 、正确记录脉搏、呼吸,做到认真负责,实 事求是。
博奥文明之旅团支部 ——师范学院小学教育专业063团支部.
项目四、腻子的施工  一、准备工作  二、安全与卫生  三、板件表面的处理  四、准备腻子  五、刮腻子  六、腻子的干燥  七、腻子的打磨  结束.
思想道德修养与法律基础 ( 2013修订版) 第一章 追求远大理想 坚定崇高信念.
冷 热 疗 法.
報告書名:父母會傷人 班級:二技幼四甲 姓名:吳婉如 學號:1A2I0034 指導老師:高家斌
第五章 不同人群的体育卫生 第一节 儿童少年的体育卫生 第二节 女子的体育卫生 第三节 中年人的体育卫生 第四节 老年人的体育卫生.
個人理財規劃 第八章 投資規劃.
保育员工作职责.
指 导:高歌老师 责任编辑:汤杰林 杜峥 供 稿:课代表 班委会 团长 栏目创编:张廷信 技术编辑:汤杰林 杜峥 常务编辑:杜峥
开天门 梅州市中医医院 郑雪辉.
小儿斜颈的诊断与治疗.
班社会实践调查 ——大学生健康与运动状况调查.
34 府学胡同的文天祥祠,相传是南宋民族英雄文天祥当年遭囚禁和就义的地方,1376年明洪武九年建祠 。
中式面点技艺 长春市商业职业技术学校 王成贵 中式面点技艺 长春市商业职业技术学校 授课教师: 王 成 贵.
Unsupervised feature learning: autoencoders
媽,我們真的不一樣 青少年期與中年期 老師: 趙品淳老師 組員: 胡珮玟4A1I0006 馬菀謙4A1I0040
消防安全知识讲座 ---校园防火与逃生 保卫科.
社區醫學相關選修~ 社區醫療實務 課程介紹.
大规模深度学习算法 Deep Belief Network及其应用
證道: 我是羊的門,我是好牧人 講題:「耶穌說:”I Am”『我是…』」之(四) : 講員: 梁淑英牧師
建筑工程项目管理.
关于在宝钢全体党员中开展“学党章党规、 学系列讲话,做合格党员”学习教育的 实施方案
情緒與壓力管理─背部舒緩 指導老師:彭易璟 第六組組員:會資三乙 499A0047 謝宛霖 會資三乙 499A0019 吳汶諭
天 狗 郭沫若.
第三章 儿童少年、女子及 中老年的体育卫生 第一节 儿童少年的体育卫生
班級:二幼三甲 姓名:郭小瑄 、 詹淑評 學號:1A2I0029 、1A2I0025
学生学业水平诊断与提升策略探究 平阳中学 周秀丽.
征服火灾是全社会的事业,它需要科技的进步,需要消防监督,也需要消防科学知识的普及和提高。通过各类的消防安全培训,从而使人们更好的掌握消防常识和了解消防法规,提高消防安全意识,提高自防自救能力,使我们的生产和生活远离火灾的侵袭。
指導老師:陳韻如 姓名:吳宜珊 學號:4A0I0911 班級:幼保二乙
台灣的名勝古蹟.
105年推甄及登記分發說明會 教務處 註冊組課務組.
足球運動情報蒐集與分析 趙榮瑞 教授.
講師:賴玉珊 心理師 證照:諮商心理師(諮心字第001495號) 學歷:國立台南大學諮商與輔導研究所 畢 現任:長榮大學諮商中心專任心理師
复习 1. 注意最值与极值的区别. 最值是整体概念而极值是局部概念. 极大值可能小于极小值,极小值可能大于极大值.
二、汽化和液化.
复习: 一、细胞膜的成分 1、脂质 2、蛋白质 3、糖类 二、生物膜的功能: 1、界膜 2、控制物质的进出 3、进行细胞间信息交流.
导入:找问题 在一个初中课堂上,老师讲了这样一个故事:有三只猎狗追一只土拔鼠,土拔鼠钻进了一个树洞。这只树洞只有一个出口,可不一会儿,从树洞里钻出一只兔子,兔子飞快地向前跑,并爬上一棵大树。兔子在树上,仓皇中没站稳,掉了下来,砸晕了正仰头看的三只猎狗,最后,兔子终于逃脱了。
鸿门宴 司马迁.
傳統童玩遊戲創新 組別:第八組 班級:幼保二甲 組員: 4A0I0005柯舒涵 4A0I0011謝孟真
台灣史總複習.
复习 1. 微分中值定理的条件、结论及关系 费马引理 拉格朗日中值定理 罗尔定理 柯西中值定理 2. 微分中值定理的应用 关键:
自我介绍 ——陈丽敏.
行為改變技術 班級:幼保二甲 組員: 4A10H081 蘇靖婷 4A1I0014 陳佳瑩 4A1I0023 尤秀惠 4A1I0074 邱乃晏 指導老師: 楊淑娥 老師.
第1节人体内物质的运输 人体的组织细胞每时每刻都需要营养物质和氧,并不断产生二氧化碳、尿素等废物。这些物质在人体内运输主要依靠 系统。人体的血液循环系统由 、 和 组成。 血液循环 血管 心脏 血液.
國文報告 儒家生死文化討論 不死鳥 組員 972BP001 彭科強 972BP008 王薪榕 972BP025 彭裕宗
海洋能的利用与对未来的设计展望 成员:刘睿、王知谦 钱庄、王星、杜俊达.
第3节 以水为主要传热介质 的烹调方法.
第一章 汽车的解体与清洗 第一节 汽车解体工艺 一、零件的拆卸原则 1、拆卸前应熟悉被拆总成的结构
拿 法 常晓波博士 Mobile:
复旦俄语歌小组的成长历程 (上集) 徐士菊 周德庆 编制 制作 ,以后时有增补 配乐:小路Track 1/83.
深度学习 (Deep Learning).
Sparse Autoencoder 稀疏自动编码器 王鹏宇.
使徒行傳.
評分標準.
地質篇 Unit_04_地質年代.
李宏毅專題 Track A, B, C 的時間、地點開學前通知
長者自務學習計劃運作模式 高秀群女士 黃燕卿女士 顧佩君女士 21/12/2005.
工业设计教研室 主讲教师:李明 Mobile: 教学主楼1385室
Module_5_Unit_4_ppt Unit4:非线性系统的描述函数法 东北大学《自动控制原理》课程组.
下列各句没有语病的一项是 A.布什政府在陷入伊战泥潭不能自拔的情况下,美国国会通过决议要求政府限期从伊拉克撤军。 B.自上世纪70年代开始,心脏病急剧上升,该病已成为威胁人类健康的主要杀手之一。 C.尊重事实,追求真理是专家的天职,任何违背科学真理的行为都应成为其禁区都不可踏入。 D.北京时间2007年9月14日,9时33分,日本第一颗绕月探测卫星“月亮女神”号在日本九州种子岛宇宙中心发射升空。
Presentation transcript:

Deep learning 调研

机器学习

机器学习 手工地选取特征是一件非常费力、启发式的方法 

深度学习背景 又名:UnsupervisedFeature Learning 启发自:人脑视觉机理, 方向选择性神经元(Orientation Selective Cell)

深度学习背景

DL基本思想 有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O I =>S1=>S2=>…..=>Sn => O 如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的 信息损失

DL&Neural Network

DL&Neural Network 神经网络存在问题: 1)比较容易过拟合,参数比较难tune,而且需要不少trick; 2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优 BP算法存在的问题: (1)梯度越来越稀疏:从顶层越往下,误差校正信号越来越小; (2)收敛到局部最小值:尤其是从远离最优区域开始的时候(随机值初始化会导致这 种情况的发生); (3)一般,我们只能用有标签的数据来训练:但大部分的数据是没标签的,而大脑可 以从没有标签的的数据中学习;

DL训练过程 1)使用自下上升非监督学习(就是从底层开始,一层一层的往顶层训 练):        采用无标定数据(有标定数据也可)分层训练各层参数,这一步可以 看作是一个无监督训练过程,是和传统神经网络区别最大的部分(这个 过程可以看作是feature learning过程):        具体的,先用无标定数据训练第一层,训练时先学习第一层的参数 (这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络 的隐层),由于模型capacity的限制以及稀疏性约束,使得得到的模型 能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征; 在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层, 由此分别得到各层的参数;

DL训练过程 2)自顶向下的监督学习(就是通过带标签的数据去训练,误差自顶向下 传输,对网络进行微调):        基于第一步得到的各层参数进一步fine-tune整个多层模型的参数.第 一步类似神经网络的随机初始化初值过程,由于DL的第一步不是随机初 始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局 最优,从而能够取得更好的效果;所以deep learning效果好很大程度上 归功于第一步的feature learning过程。

DL常用模型或方法 AutoEncoder自动编码器

AutoEncoder

Sparse AutoEncoder

Denoising AutoEncoders 降噪自动编码器DA是在自动编码器的基础上,训练数据加入噪声,所以 自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的 输入。因此,这就迫使编码器去学习输入信号的更加鲁棒的表达,这也 是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训 练。

Sparse Coding稀疏编码 一个信号表示为一组基的线性组合,要求只需要较少的几个基就可以将 信号表示出来。 O = a1*Φ1 + a2*Φ2+….+ an*Φn, Φi是基,ai是系数,我们可以得到这样 一个优化问题: Min |I – O| + u*(|a1| + |a2| + … + |an |)

Sparse Coding稀疏编码

稀疏编码训练过程 1)Training阶段:给定一系列的样本图片[x1, x 2, …],我们需要学习得到一组基[Φ1, Φ2, …],也就是字典。(EM思想) 2)Coding阶段:给定一个新的图片x,由上面得到的字典,得到稀疏向量a。这个稀 疏向量就是这个输入向量x的一个稀疏表达了。

稀疏编码用途 降维 提取特征 寻找基

RBM限制波尔兹曼机 判别模型 学习条件概率p(y|x) 生成模型 学习联合概率p(x,y) p(y|x)=p(x,y)/p(x)

RBM限制波尔兹曼机 能力模型(Energy Based Model) 假设所有的节点都是随机二值变量节点,同时假设全概率分布p(v,h)满足Boltzmann 分 布,我们称这个模型是Restricted BoltzmannMachine (RBM)。

RBM用途 1对数据编码,然后交给上层学习方法 2得到权重矩阵和偏移量,供BP初始化

DBN深信度网络

DBN应用 灵活 容易拓展

CNN卷积神经网络

CNN卷积神经网络

CNN卷积神经网络 每个滤波器5*5=25个unit参数和一个bias参数,一共6个滤波器,共(5*5+1)*6=156个参数,共156*(28*28)=122,304个连接。

CNN卷积神经网络 主要用来识别位移、缩放及其他形式扭曲不变性的二维图形 并行学习 语音识别 每个滤波器5*5=25个unit参数和一个bias参数,一共6个滤波器,共(5*5+1)*6=156个参数,共156*(28*28)=122,304个连接。

I am a Smartwatch and I can Track my User’s Arm (mobisys2016)

MoLe: Motion Leaks through Smartwatch Sensors (mobicom)2015

Lasagna:Towards Deep Hierarchical Understanding and Searching over Mobile sensing Data(mobisys 2016)

THank U