杨青青 Qingqing Yang qqyang@nit.zju.edu.cn 机器视觉 Machine Vision 杨青青 Qingqing Yang qqyang@nit.zju.edu.cn.

Slides:



Advertisements
Similar presentations
第 2 讲 计算机中的颜色表示 1 如何刻画颜色 2 如何计算颜色 如何 “ 刻画 ” 颜色.
Advertisements

第六节 眼睛与视力的矫正.
§3.4 空间直线的方程.
行政法 之 行政救济篇.
第二节 视 觉 人脑获取的外界环境的信息,95%以上来自视觉。 人眼的适宜刺激:波长 nm 电磁波(可见光) 分辨亮度、色泽
康普顿散射的偏振研究 姜云国 山东大学(威海) 合作者:常哲 , 林海南.
AI 图像传感器.
數位相機鏡頭 Revised 2010/3/23.
典型案例---医院.
第八課 蓼莪.
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
目录 第一部分:关于数码单反相机 第二部分:摄影基本理论 第三部分:摄影基本操作 第四部分:光的魔力 第五部分:摄影构图——做减法 的游戏
摄影入门:认识参数选相机 **公司摄影色友会系列讲座之一.
數位照相原理 授課老師:黃俊能.
走自立自强之路 自己的事情自己做.
人類的循環系統.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
四、眼睛和眼镜.
初中数学八年级下册 (苏科版) 10.4 探索三角形 相似的条件(2).
有关摄影 ---- 刘晓建 2010/1/7.
第二章 门电路 本章重点及要求: 1、理解半导体二极管和三极管的开关特性;2、掌握分立元件组成的“与、或、非”门电路;3、理解TTL集成门电路和CMOS集成门电路;4、掌握集成门电路的逻辑功能和正确使用方法。5、理解TTL与非门的电压传输特性、输入输出特性等参数。 § 2—1 概述 一、逻辑门电路 门电路----能完成基本逻辑运算和复合逻辑运算的单元电路。
第8章 彩色图像处理 内容提要: 8.1 人类视觉与色度学基础 8.2 颜色空间的表示及其转换 三基色原理、光度学基本知识
反射途径 模糊的视觉图象 视觉皮层 下行冲动 皮层-中脑束 中脑正中核 动眼神经中副交感神经 睫状肌环行肌收缩 悬韧带松弛 晶状体向前后方凸出 清晰的视觉图象.
Presenter: 宫曦雯 Partner: 彭佳君 Instructor:姚老师
拓展 问题 探究 练习 北师大版 五年级上册 第五单元 分数的意义 绿色圃中小学教育网
2014年度 预归类专业技能培训和资格考试 纺织品部分(50-63章).
光学谐振腔的损耗.
感觉器官 Sense organs.
金屬_半導體接觸理論 場效電晶體FET.
第十三章 彩色影像處理.
CCD图像传感器 光信息91 王哲也
通信工程专业英语 Lesson 4 Audio Encoding & Video Encoding 第4课 音频编码与视频编码
彩色数字电视系统的颜色空间.
1.
Image Chen Ching-Jung 「影像處理」入門 高一.資訊科技概論 Image Chen Ching-Jung.
对本书、视频等任何MATLAB问题,作者做到有问必答!
时序逻辑电路实验 一、 实验目的 1.熟悉集成计数器的功能和使用方法; 2.利用集成计数器设计任意进制计数器。 二、实验原理
數位像機 Digital camera.
第一章 數位影像的概念.
工业机器人技术基础及应用 主讲人:顾老师
多媒体技术 中南大学信息科学与工程学院 黄东军.
第8章 静电场 图为1930年E.O.劳伦斯制成的世界上第一台回旋加速器.
第三章 辐射 学习单元2 太阳辐射.
工业机器人技术基础及应用 主讲人:顾老师
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
从物理角度浅谈 集成电路 中的几个最小尺寸 赖凯 电子科学与技术系 本科2001级.
光電科技 (二)光電半導體與光電元件 劉榮平 逢甲大學 光電學系.
一、驻波的产生 1、现象.
血液、骨、神经组织 和眼 组胚教研室.
超越自然还是带来毁灭 “人造生命”令全世界不安
<编程达人入门课程> 本节内容 内存的使用 视频提供:昆山爱达人信息技术有限公司 官网地址: 联系QQ: QQ交流群: ,
图像的基本知识 《信息隐藏实验教程》教学幻灯片 二(2).
电影海报设计 ——巧用“分层云彩”滤镜.
激光器的速率方程.
形容词短语(续).
光合作用的过程 主讲:尹冬静.
_13简单的GDI绘图操作 本节课讲师——void* 视频提供:昆山爱达人信息技术有限公司 官网地址:
第二章 数字化摄影基础知识.
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
本节内容 C语言的汇编表示 视频提供:昆山爱达人信息技术有限公司 官网地址: 联系QQ: QQ交流群 : 联系电话:
第四节 向量的乘积 一、两向量的数量积 二、两向量的向量积.
第五章 透镜及其应用 第2节 生活中的透镜.
商品摄影选讲课件 ——13电子商务.
《智能仪表与传感器技术》 第一章 传感器与仪表概述 电涡流传感器及应用 任课教师:孙静.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
位似.
第三章 图形的平移与旋转.
数字电子技术 项目1 简单加法器电路设计与测试
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
Presentation transcript:

杨青青 Qingqing Yang qqyang@nit.zju.edu.cn 机器视觉 Machine Vision 杨青青 Qingqing Yang qqyang@nit.zju.edu.cn

课程相关信息提示 加分小任务(+3至5分): 课件下载地址: 寻找一个机器视觉或计算机视觉应用,写篇小短文说 明。发送到邮箱: qqyang@nit.zju.edu.cn 截止 课件下载地址: http://yun.baidu.com/s/1sj1zRkD,可选 新地址: http://course.qqyang.org/ 一般在周三下午更新本周课程的课件

前一次课程:投影几何与相机模型 灭点 灭线 垂直灭点(无穷远处) 灭点和灭线 针孔相机模型和相机投影矩阵 齐次坐标系

本次课程内容 捕光机器 数码相机和图像 相关阅读:教材第2章 光的特性 如何测量光线 相机传感器 采样和量化 图像格式 Slides from James Hays, Derek Hoiem, Alexei Efros, Steve Seitz, and David Forsyth

上一次课程设计的相机 透镜将光线集中在胶片上 在一个特定的距离物体能够“聚焦” 改变透镜的形状可以改变这一距离 其余的点被投射到图像的弥散圆 弥散圆(circle of confusion) 本节将介绍光本身的特性和“数字胶片”,最终的图像格式 透镜将光线集中在胶片上 在一个特定的距离物体能够“聚焦” 其余的点被投射到图像的弥散圆 改变透镜的形状可以改变这一距离

图像格式 数码相机 胶片 人眼

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) λ light source ?

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ1 λ2 荧光是一种光致冷发光现象。当某种常温物质经某种波长的入射光照射,吸收光能后进入激发态,并且立即退激发并发出出射光(出射光波长比入射光长);而且一旦停止入射光,发光现象也随之立即消失。具有这种性质的出射光就被称之为荧光。

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source t=1 t=n 磷光是一种缓慢发光的光致发光现象。当某种常温物质经某种波长的入射光照射,吸收光能后进入激发态,然后缓慢地退激发并发出比入射光的的波长长的出射光,而且与荧光过程不同,当入射光停止后,发光现象持续存在,其衰退时间大于 秒。发出磷光的退激发过程是被量子力学的跃迁选择规则禁戒的,因此这个过程很缓慢。

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ (镜面互反射)

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ (镜面互反射)

朗伯反射(Lambertian Reflectance) 在计算机与机器视觉中,一般假设物体表面符合 理想的漫反射条件,并且与观察方向有确定已知 的关联性。

数码相机(Digital camera) 数码相机中,使用传感器整列替代了胶片 阵列中的每一个单元都是一个光敏二极管,将光信号转换为电 信号 两种常见的传感器类型: CCD(Charge Coupled Device ,电荷耦合元件) CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导 体元件) CMOS(Complementary Metal Oxide Semiconductor)指互补金属氧化物(PMOS管和NMOS管)共同构成的互补型MOS集成电路制造工艺,它的特点是低功耗。

数码相机(Digital camera) 数码相机的成像的典型流程 RAW格式存储未进行数字处理的图像 JPEG存储根据相机设置处理后的压缩图像

相机传感器整列(Sensor Array) 数码相机(Digital camera) 相机传感器整列(Sensor Array) CMOS sensor

采样(Sampling)和量化(Quantization) 数码相机(Digital camera) 采样(Sampling)和量化(Quantization) a,连续图像; b, 从A到B的一条扫描线上的连续图像,用于说明采样和量化 c, 采样和量化 d, 数字化的扫描线

隔行(Interlace) vs 逐行(progressive)扫描 数码相机(Digital camera) 隔行(Interlace) vs 逐行(progressive)扫描 http://www.axis.com/products/video/camera/progressive_scan.htm

逐行扫描(progressive scan) 数码相机(Digital camera) 逐行扫描(progressive scan) http://www.axis.com/products/video/camera/progressive_scan.htm

数码相机(Digital camera) 隔行扫描(interlace) http://www.axis.com/products/video/camera/progressive_scan.htm

滚动快门(Rolling Shutter) 数码相机(Digital camera) 滚动快门(Rolling Shutter) 大部分基于CMOS传感器的相机都存在这样的问题,源于CMOS传感器的逐行曝光原理。 即便是先进的数码单反(DSLRs)也不能避免类似的问题。 特别是拍摄高速运动物体,会有倾斜畸变。 CCD传感器使用全局曝光,可以避免这样的问题。 拍摄高速运动物体,会有倾斜畸变

眼睛(the eye) 人眼就是一款神奇的生物相机! 虹膜(Iris) – 带有放射肌的有色圆环,可以控制瞳孔大小 瞳孔(Pupil) – 小孔(光圈),大小由虹膜伸缩控制 胶片是什么? 视网膜(retina)上的感光细胞

眼睛(the eye) 视网膜(retina) ganglion axons :神经轴突 ganglion cell layer:神经节细胞层 bipolar cell layer:双极细胞层 Receptor layer:受体层 pigmented epithelium:色素上皮

眼睛(the eye) 视网膜(retina)—近距离观察 光线 ganglion axons :神经轴突 ganglion cell layer:神经节细胞层 bipolar cell layer:双极细胞层 Receptor layer:受体层 pigmented epithelium:色素上皮 光线

人眼不具备的结构—光神经纤维层(tapetum lucidum) 眼睛(the eye) 人眼不具备的结构—光神经纤维层(tapetum lucidum) 光神经纤维层(tapetum lucidum)可将穿透视网膜但却没被感应到的光,反射后再通过视网膜一次,增加感应机会,强化夜视能力。

眼睛(the eye) 感光细胞 视锥细胞 Cones 锥形细胞 敏感度较低 在强光下作用 能够感受彩色 视杆细胞 Rods 杆状细胞 高敏感度 弱光下工作 智能感受灰度

眼睛(the eye) 视锥细胞和视杆细胞的敏感度测量

眼睛(the eye) 视锥细胞和视杆细胞的分布 视锥细胞和视杆细胞并非均匀分布 Fovea:视网膜中央凹 视锥细胞和视杆细胞并非均匀分布 Fovea:视网膜中央凹(很小的范围1 - 2°)的视锥细胞密度最高 外围的视敏度最低——很多视杆细胞包覆相同的神经元

当一只眼睛闭合,在适当的距离,所有的字母应当具有相同清晰度 眼睛(the eye) 视觉现象 当一只眼睛闭合,在适当的距离,所有的字母应当具有相同清晰度

当一只眼睛闭合,另一只眼睛注视十字,在适当的距离,黑点会消失 眼睛(the eye) 视觉现象:盲点 当一只眼睛闭合,另一只眼睛注视十字,在适当的距离,黑点会消失

眼睛(the eye) 视觉现象:亮度取决于周围环境 相同亮度的方块在黑色背景下显得更亮

光(Light) 电磁光谱 至少覆盖三个光带(R,G,B) 人眼的感光范围

光(Light) 可见光 为什么我们可以看见这些波长的光线? …因为这个波段是 太阳的电磁辐射波段 人眼的感光范围 因为这个波段式太阳的峰值辐射波长 而大气层在这个范围内是近乎透明的 人眼的感光范围 © Stephen E. Palmer, 2002

光的物理描述 光(Light) 可见光 每一束光线都可以通过它的频谱来描述: 每个波长400-700nm中包含的光子数(单位时间) © Stephen E. Palmer, 2002

光的物理描述 光(Light) 可见光 一些光源的频谱描述 © Stephen E. Palmer, 2002

光的物理描述 可见光 一些表面的反射光谱 Red 400 700 Yellow 400 700 Blue 400 700 Purple 400 700 Yellow 400 700 Blue 400 700 Purple 400 700 % 反射的光子 © Stephen E. Palmer, 2002

精神物理学的对应 对于在不同条件下所有感知到的光线色彩,并没有简单的函数可以进行描述,但是…… 一个可行的约束: 只考虑满足正态分布的物理光谱 均值mean 面积area 方差variance © Stephen E. Palmer, 2002

精神物理学的对应 均值 Mean 色度 Hue # Photons Wavelength © Stephen E. Palmer, 2002

精神物理学的对应 方差 Variance 饱和度 Saturation # Photons Wavelength © Stephen E. Palmer, 2002

精神物理学的对应 面积 Area 亮度 Brightness # Photons Wavelength © Stephen E. Palmer, 2002

颜色视觉生理学 三种视锥细胞: 为什么有三种视锥细胞? 认为视网膜上存在分别对红,绿,蓝的光线特别敏感的3种视锥细胞或相应的3种感光色素。当某一种颜色的光线作用于3种视锥细胞通过混色,人大脑就产生某一颜色的感觉。此学说能够解释混色现象和色盲的原因,但不能说明视后像,色对比,对立色等现象。 为什么有三种视锥细胞? © Stephen E. Palmer, 2002

相机的色彩传感器(RGB) 3-chip vs. 1-chip:性能vs.成本 为何绿色更多? 为何是3色的?

相机的色彩传感器(RGB) 实际色彩传感器:Bayer Grid 由周围的单元估 计‘G’单元的 RGB值

彩色图像 R G B

彩色图像 Matlab中的图像表示 column R row G B 图像表示为矩阵 彩色图像由三维矩阵表示 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78 G 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78 B 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78

彩色空间 如何描述颜色

彩色空间 RGB彩色空间 0,1,0 R G 1,0,0 0,0,1 B 缺点 彩色通道间联系密切 不直观 (G=0,B=0) (R=0,B=0) B (R=0,G=0) 缺点 彩色通道间联系密切 不直观

彩色空间 HSV彩色空间:直观的彩色空间 H (S=1,V=1) S (H=1,V=1) V (H=1,S=0)

彩色空间 YCbCr彩色空间 Y=0 Y=0.5 Y Cr Cb Cb Y=1 Cr 计算快速,方便压缩,常在TV中使用

彩色空间 L*a*b*彩色空间 视觉上均衡的彩色空间 L (a=0,b=0) a (L=65,b=0) b (L=65,a=0)

彩色空间 如果必须要失去一种, 你会选择失去亮度还是失去色度?

彩色空间 只显示颜色 – 恒定亮度

彩色空间 只显示亮度 – 恒定颜色 亮度值保留了更多的信息!

彩色空间 原始图片

回到灰度值 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78

下节内容 图像滤波—图像处理和机器视觉的基础 参考书本2.1.5节