Sparse Autoencoder 稀疏自动编码器 王鹏宇.

Slides:



Advertisements
Similar presentations
與蓮邂逅於溽夏 我打江南走過,那等在季節裡 的容顏如蓮花的開落……。 鄭愁予<過 客>. 大家來賞蓮,蓮葉荷田田 你 知道嗎?蓮花就是荷花,荷花就是蓮花,但蓮屬豆科,睡蓮 是睡蓮科喔! 古象形字中,只有「荷」字代表「荷花」,因其子連蓬 而生,稱「連子」,後取諧音「蓮子」(可能因是植物,故 冠以草字頭),其花即是「蓮花」。
Advertisements

湘雅路街道 刘韬 2014 年 4 月 微时代 · 新挑战. 什么是微时代 : 微时代即以微博、微信 等作为传播媒介代表,以短 小精炼作为文化传播特征的 时代。 开福区湘雅路街道工委 微博:微型博客的简称,即一句话 博客,是一种通过关注机制分享简 短实时信息的广播式的社交网络平 台。 微信:是腾讯公司于.
小六升中座談會 ( 統一派位 ) 日期 : 時間 : 下午 2 時 地點 : 禮堂 對象 : 家長及小六學生 黃大仙官立小學.
狂 犬 病 RABIES 中山医科大传染病教研室 梅咏予. 概 述 狂犬病是由狂犬病毒引起的, 以侵犯中枢神经系统为主的急 性传染病, 临床表现为特有的恐 水、怕风、恐惧不安、咽肌痉 挛、进行性瘫痪等。病死率几 乎达 100% 。
勞動部勞動力發展署 高屏澎東分署 鳳山就業中心 簡報人:黃素貞 助教:許竣能、詹育瑞、曾泰龍 就服員 青年職涯扎根方案 – 認識自己‧求職不卡關 履歷面試技巧分享.
房屋稅之簡介.
兴业期货培训教材 期货投资入门基础 兴业期货培训部.
第三十一章 子宫肿瘤 遵医附院妇产科 明祖谦.
班 級:四 財 三 B 學 號:4950S095 學 生:沈 佩 樺 指導老師:蔡 享 翰 老師
第七章 铸锭常见缺陷分析 7.1 偏析 7.2 缩孔与缩松 7.3 裂纹 7.4 气孔 7.5 非金属夹杂物
~~水世界~~ ——”大视野”活动.
建设项目的财务评价 本章内容 7.1 财务评价概述 7.2 建设项目投资估算 7.3 建设项目财务评价的若干问题
三國演義之赤壁之戰 By 溫雅婷 胡翊軒 王蓉蓉 高渝涵 鄭巧芳.
職務法庭與 法官退場機制 行政訴訟及懲戒廳報告
五个”名“工程 天下和谐 向善大典暨新春禅文化节推广方案
来自峇株吧辖华仁中学的学生与你的分享 探讨3种不同职业的工作性质。
做一个会说话的我 ——谈谈人际交往中的言语交际
Unsupervised feature learning: autoencoders
第三章 领悟人生真谛 创造人生价值.
Macd指标.
三年級細目 數與量.幾何.代數.統計與機率 組員: 黃綺紋 黃健哲 黃蘭筑 指導老師: 林宜臻老師.
第十一章 结构施工图 §11.1 概述 §11.2 钢筋混凝土构件图 §11.3 基础图 §11.4 钢结构平面图.
梁钢筋计算 目的:本章主要是让学员从应用软件软件算量,因为大多数学员对梁钢筋计算相对来说比较熟悉,主要的侧重点在软件细节的应用上,并且通过学习梁钢筋的计算,再次明确“平法”的基本原理和软件的处理思路(整体解决),同时也明确自己的讲课思路 教学形式:引导、练习、对量、总结 时间:1天.
第一部分 钢筋专业知识 第一单元 基本知识 及相关概念 第二单元 平法识图(03G101) 第三单元 钢筋算法.
梁 钢筋讲解 《11G101-1》之梁 目的:本章主要是让学员从手工引入到软件、接受软件、接触软件,体验软件、检验软件、认可软件
中国债券信息网中文版改造 设计思路 二00七年十月十日.
青年職涯扎根方案 – 認識自己‧求職不卡關 履歷面試技巧分享
防墜安全與自殺防治 臺北市政府自殺防治中心 莊東憲 組長.
大地醫療團隊- 微生物製劑環保與農業應用.
臺北市立南湖高中 103學年度繁星推薦說明會 南湖高中繁星推薦會製作.
腾讯公司的五力分析 组员 朱靓 张荣桥 杨东方 李卉 毛钦 吴莉敏.
数字化学习系统介绍 对外经济贸易大学 杨晓军 2010年5月14日.
遊福山植物園 新坡國小 楊皓晟.
第8讲 带传动与链传动 一、带传动的基本理论 1、带传动的工作 2、带传动的受力分析 3、带的应力分析 4、带传动的失效
光的干涉.
現代文學與文化 梅家玲 教授 專題一 觸摸歷史‧進入五四
现货技术分析 尚由金融 陈德清.
酒精所致精神和行为障碍的护理 绵竹市精神病医院精三科 廖靓
五年级信息技术 第四课 比一比,夺金星.
社会背景 :我国新民主主义革命的开端期,几千年来被奉为正统的旧秩序、道德观念被颠覆,新的秩序、观念和道德标准尚未建立,“五四”思想启蒙者大多数以西方文学作品及文艺学、哲学理论作为批判现存社会、探询社会出路的武器。外国小说和理论的输入也促进了“五四”新小说的发生、发展。
Coruscant 台中.
陳郁惠老師 賦予音樂生命 以小提琴揮灑美麗的樂章 奇幻的生命旋律 由此開始 班級:114 組別: 四 組長:陳柔妘
現代文學與文化 梅家玲 教授 專題一 觸摸歷史‧進入五四 此為專題一封面投影片。
Deep learning 调研.
第七章 线性变换 7.1 线性映射 7.2线性变换的运算 7.3 线性变换和矩阵 7.4 不变子空间 7.5 特征值和特征向量
第四章 生產理論.
深度学习 (Deep Learning).
第七 课 d t 教学.
当当网入驻商户管理规定.
《神经网络与深度学习》 深度信念网络
直方图的均衡化.
  將討論柱的特性及一些設計柱之方法,本章一開始先概述挫曲的觀念,接著探討讓理想柱 (ideal column) 產生挫曲所需之軸向負載的大小。對柱的彎曲做更詳細地分析。柱之非彈性挫曲也以一特例呈現出。探討一些方法,用來設計那些以一般工程材料製成而承受集中力或偏心負載的柱。
IM、目前狀態與連絡人 接受 IM 要求 Lync 2013 for Office 365 快速參考 設定或變更目前狀態 尋找人員
第七章 网络营销.
IM、联机状态和联系人 接受 IM 请求 Lync 2013 for Office 365 课程摘要 设置或更改联机状态 查找联系人
I博导《网店运营》课程教学包 08-网店运营:如何打造爆款.
- 在 iPhone 上使用 Lync 2013 课程摘要卡 加入 Lync 会议 登录并开始使用 查看谁在会议中 更改状态或注销
Convolutional Neural Network
作著:芳瑜(方魚),梁曄(涼麵),兆東,芷歆、懿珊、怡盈、瀠萱
Electric Current and Magnetic Field
匹克e+用户指南(PC端) ——信息管理中心.
第二章 数控机床中常用的传感器 旋转编码器 霍尔传感器 旋转变压器 感应同步器 光栅位移传感器 磁栅位移传感器.
第三节 神经反射 Nervous Reflex.
目录 互联网思维下的企业微信战略 1.0 互联网思维下的商业革命 2.0 移动互联网下的商业模式变革 3.0 企业社交化红利
卷积码的概率译码.
Libfann R binding 快速神经网络在R上的绑定.
神经网络 Statistical Learning 方匡南 厦门大学教授 博士生导师.
iPhone 中的 Lync 2013 快速參考卡 加入 Lync 會議 登入並開始使用 查看與會者 變更狀態或登出
任务4.7  鉴频与鉴相.
多媒体搜索引擎 多媒体文档检索(2).
Presentation transcript:

Sparse Autoencoder 稀疏自动编码器 王鹏宇

目录 网络结构 参数修正 稀疏自动编码器 程序实现

网络结构--自动编码器 非监督模式识别 输出近似于原始输入 隐含层输出主要特征 使信息熵减小

网络结构--自动编码器 :第L层节点j激活量的输入 :第L层的节点数目 = :第L层节点j的输出 f(x):sigmoid函数或tanh函数

网络结构--自动编码器 sigmoid函数 tanh函数

参数修正 m个训练集 损失函数J(w,b): 第一项:平均平方和误差 第二项:修正项,使所有权重和更小、防止过度拟合 使用梯度下降法

参数修正 对于每一次迭代 其中

参数修正--求损失函数偏导 残差 :第L层的第i个节点对最终输出值的残差贡献值 计算方法: 1.计算前向过程中的节点激活量 2.计算最终层的残差, 此时 为输出 3.使 可归纳推导得到

参数修正--求损失函数偏导

参数修正--求损失函数偏导 4.利用以上结论,求得 其中:

参数修正--求损失函数偏导 返回

参数修正--修正步骤

稀疏自动编码器 隐层节点数过少,需要对输入进行压缩,当输入为随机高斯序列,提取特征变得困难 希望在隐层节点数量大(甚至比输入层节点数量更多)时仍能实现自动编码提取感兴趣的信息,需要对隐层进行稀疏约束 稀疏表达更有效,人脑神经也是稀疏连接

稀疏自动编码器--稀疏限制 平均输出值 :隐层上每个节点j对于所有输入集i=1:m的平均激活强度 接近于0时(0.05),大多数隐含节点为非 激活状态,隐含层变为稀疏(sigmoid函数 的输出大多数状态是0,tanh函数的输出大 多数状态是-1)

稀疏自动编码器--稀疏限制 稀疏限制:使 接近于0,引入 KL divergence(相对熵)惩罚 偏离 取 为0.2 稀疏限制:使 接近于0,引入 KL divergence(相对熵)惩罚 偏离 取 为0.2 当 为0.2时整个KL为0

稀疏自动编码器 此时 损失函数: 节点误差:

稀疏自动编码器

稀疏自动编码器

稀疏自动编码器

最终推论