第五章 视觉检测系统 一、应用 领域：工业、农业、 航天、军事等 1、工业检测 (1) 零件的识别与定位 例：双目立体视觉检测系统

Presentation on theme: "第五章 视觉检测系统 一、应用 领域：工业、农业、 航天、军事等 1、工业检测 (1) 零件的识别与定位 例：双目立体视觉检测系统"— Presentation transcript:

1 第五章 视觉检测系统 一、应用 领域：工业、农业、 航天、军事等 1、工业检测 (1) 零件的识别与定位 例：双目立体视觉检测系统
■ 自动连接引线、对准芯片和封装； ■ 自动安装部件，自动焊接或自动切割加工、自动浇注系统等。 例：双目立体视觉检测系统 ——简单视觉的机器人系统

2 (2) 零件尺寸的在线测量 钢板厚度的在线测量 (3) 零件外观及内部缺陷检测 例：木料检测：缺陷、体积 (4) 产品分类、分组
芯片定位 芯片管脚检测 (2) 零件尺寸的在线测量 木料检测原理 例：木料检测：缺陷、体积 钢板厚度的在线测量 (3) 零件外观及内部缺陷检测 (4) 产品分类、分组 苹果分级、分色、配色 (5) 产品标识、编码识别 商品条码、印鉴、标签

3 2、机器人导航 “手-眼”定位： 两个摄像机 --- 两幅平面图像 --- 三维场景信息
用于：目标识别、道路识别、障碍物判断、主动导航、自动视觉导航 无人驾驶汽车、无人驾驶飞机、无人战车、探测机器人 实例：美国Sojourner系列和Rocky系列火星探测移动机器人

4 美国勇气号和机遇号火星探测移动机器人 “勇气”号火星车发回的彩色照片 “机遇”号火星车拍摄 火星土壤的显微照片

5 3、生物医学图像分析 （1）医学临床诊断 ： X射线、B超、CT、核磁共振（MRI） 医学影像融合分析 CT图像
自动检测：染色体切片、癌细胞切片、超声波图象 细胞个数统计

6 三维人体扫描

7 （2）生物图像分析：形状、组织切片、染色体配对、细菌、病毒、
病原体外形尺寸检测、颜色识别、表面损伤检测以及组织分析 例：水果分类；发芽土豆；杂草识别 叶片细胞显微放大图片 转基因大豆孢子

8 4、遥感图像分析： 5、监控、安防、交通管理： 6、军事与国防： 7、办公与家电：
卫星遥感图像 --- 气象卫星（红外成象 --- 云图 --- 气象状况） 资源卫星（多光谱成象 ---- 地质、矿藏、森林、灾害） 海洋卫星（合成孔径雷达成象 --- 海洋、海浪、海滩） 航空摄影图像 --- （多目成象 --- 大地测量、测绘） 5、监控、安防、交通管理： 交通 --- 车辆识别、牌照识别、车型判断、车辆监视、交通流量检测 安全 --- 指纹判别与匹配、面孔与眼底识别、安全检查（飞机、海关） 监视 --- 超市、商店防盗、银行监控，停车场、电梯闭路电视 6、军事与国防： 超低空雷达、超视距雷达、导弹制导、导弹导航、地形匹配、 单兵作战系统、战场遥测、夜视仪、声纳成象 7、办公与家电： 办公设备 --- 数码复印机、扫描仪、传真机、绘图仪 家用电器 --- 数码摄像机、数码照相机、可视电话、可视门铃

9 二、视觉系统的一般构成 典型视觉系统 工作原理： 光 → 敏感元件 → 电 （光电元件） 传感器： 光源 图像卡 场景 摄像机 计算机 光源
光通路 光电元件 测量电路 光 电 y x1 x2 传感器：

10 场景 镜头 光源 摄像机 图像存储体 计算机 输出 控制 电缆 视觉系统流程图
图像采集部分、图像处理部分、通信和I/O部分以及输出和执行机构 图像采集系统：可视化图像或特征数据 由光源、镜头、摄像机、图像采集卡等构成 单目视觉：一个摄像组件（镜头+摄像机） 多目视觉：多个摄像组件（镜头+摄像机） 图像质量好  图像处理简单、结果理想 图像质量差  图象处理麻烦、结果不理想

11 1、眼睛的结构及成像 人类视觉 — 眼睛 计算机视觉 — 图像输入系统 晶状体 —镜头；视网膜 — 像敏面；
人类视觉 — 眼睛 计算机视觉 — 图像输入系统 物体 晶状体 —镜头；视网膜 — 像敏面； 远物体 — 晶状体扁平 — 屈光能力小 — 距离大（最大17mm) 近物体 — 晶状体厚 — 屈光能力大 — 距离小（最小14mm)

12 2、电磁波谱 光谱 --- 紫外 → 可见光 → 红外 可见光谱

13 三、图像采集系统 1、光源 (1)光源的作用： ①使视场具有足够照度 ---- 整体亮度、突出特征量
②满足一定的投影关系 ---- 位置变化、成像质量 ③满足一定的滤光要求 ---- 区别、对比度 选择：几何形状、照明亮度、均匀度、光谱特性，发光效率、使用寿命 (2)光源的种类： ① 自然光源 --- 天体（地球、太阳、星体）、大气

14 特点 --- 亮度高、发光效率高、体积小、成本低
② 人工光源： 按发光机理：荧光灯 、卤素灯 、气体放电灯、发光二极管（LED）、 激光二极管LD ① 白炽光源： 器件：白炽灯 --- 钨丝（熔点3600K） 特点： 谱线丰富（可见光+红外光） 应用： 滤色片 → 窄带频率光，避免杂光干扰 → 仪器 卤钨灯--- 改进的白炽灯（碘、溴） 特点 --- 亮度高、发光效率高、体积小、成本低 ② 气体放电光源： 原理：气体分子激发→放电 （电弧灯） 器件：碳弧灯、钠弧灯、氙弧灯、水银弧灯 特点：功率大，光色接近日光，紫外线丰富 应用：强光、色温要求接近日光

15 （He-Ne激光:λ=632.8nm,Δλ=10-6nm） 相干性好---受激辐射，传播方向/振动方向/频率/相位一致
③发光二极管： 原理：半导体，电致发光 器件：LED，可见光、红外光 特点： 体积小、功耗低、寿命长、响应快、易于数字控制、比普通光源单色性好、亮度高 应用：电路（信号）、仪器面板（提示、报警、状态显示） ④激光光源： 原理： 外界光→光原子→能级跃迁→受激辐射→光放大→谐振→辐射激光 特点： 方向性好---发散角很小(约0.18º)，比普通光小2~3数量级亮度高 --- 能量高度集中，亮度比普通光高几百万倍 单色性好---光谱范围极小，频率单一； （He-Ne激光:λ=632.8nm,Δλ=10-6nm） 相干性好---受激辐射，传播方向/振动方向/频率/相位一致 时间相干性、空间相干性均好 器件： 固体激光器---体积小，坚固，功率高 → 红宝石、（少用） 气体激光器---小巧、单色性好、能连续工作、功率小 → 氦氖、CO2 液体激光器---激光波长可连续调节（范围）→ 染科 半导体激光器--效率高、体积小、重量轻、结构简单、功率小、非线性

16 其中LED光源凭借其诸多的优点在现代视觉系统中得到越来越多的应用。
点光源 --- 发光二极管 线光源 面光源 --- 专用 b. 按安装方式： 背向照明： 被测物在光源和摄像机之间 对比度好 前向照明： 光源放在物体的后面 —— 便于安装 结构光照明： 光源有特定的方向，光束有精确的形状。 --- 光栅或线光源  畸变  三维形状 频闪光照明： 高频率的光脉冲 --- 高速运动物体

17 2、光学系统 组成： 成像物镜 + 光电器件 ① 照相摄影系统：

18 ② 显微系统

19 NIKON测量显微镜

20 ③ 望远系统

21 数字式测量投影仪 ④ 投影系统

22 a、摄影镜头 (1) 作用： 相当于人眼的晶状体 ①成像： 没有镜头，摄像机不能采集到任何图像。— 输出被噪声淹没 ②聚焦：
当镜头成像平面不在摄像机像面上时，输出图像模糊不清 ---调整镜头的位置，改变CCD与镜头基准面的距离 ③ 曝光： 改变光积分时间/曝光量--- 改变灰度（人眼所不具备的功能） ④变焦： 改变镜头的焦距 --- 改变成象大小 （人眼所不具备的功能）

23 (2)镜头的主要指标： ①焦距： 焦距的大小决定着视场角的大小。 焦距小（短），视场角大，观察范围大，但远处物体分辨不很清楚 焦距大（长），视场角小，观察范围小，很远的物体也能看清楚 选择焦距：观测范围 — 是要观测细节，还是要较大的观测范围 近距离大场面 — 小焦距广角；远处细节 — 大长焦 焦距的计算： f = vD/V f =hD/H 选择比计算值小的固定焦距，则视角还会大一些 焦距大小：几毫米—数米

24 ②光圈： （光圈指数、光阑系数），表示光通量大小，用 F 表示，F 数 以镜头焦距 f 和通光孔径 D 的比值来衡量：F = f /D (镜头标明) 光圈指数序列的标值：1.4，2，2.8，4，5.6，8，11，16，22等， 光通量与 F 值的平方成反比关系，F 值越小，光通量越大。 镜头上标注 --- 焦距、光圈 —— 确定镜头 ③安装方式： --- 螺纹连接 摄影镜头 --- 螺距为1英寸32牙，直径为1英寸（英制） 方式--- C式和CS式两种，差别是镜头和CCD像面的距离不同， C式安装座从基准面到焦点的距离为17.562毫米， CS式安装座从基准面到焦点距离为12.5毫米。 专用接圈----C式镜头比CS式镜头多一个专用接圈的长度， 照相镜头 --- M42×1(直径为42mm，螺距为1mm ） 单板式CCD镜头 --- M12×0.5(直径为12mm，螺距为0.5mm）

25 (3)镜头的种类： ①按焦距大小分类： 分为广角镜头、标准镜头、长焦距镜头 ②按变焦方式分类： 固定焦距镜头、手动变焦距镜头、电动变焦距镜头 固定焦距镜头---固定视场大小和距离， 手动变焦镜头---偶尔改变观察范围和目标大小 电动变焦镜头---经常性改变观察范围，变焦范围大， 既可以看大范围，也可以聚焦某个细节。 ③按光圈方式分类：固定光圈镜头、手动变光圈镜头、自动变光圈镜头 固定光圈镜头----固定场景和目标，亮度不变， 用于光线变化大且频繁的场合。 手动变光圈镜头---适合亮度变化不大的场合（光圈环） 一次性调整合适为止，不变 自动变光圈镜头---会随着光线的变化而自动调整， ④按变焦倍数：2 倍变焦、6 倍变焦、10 倍变焦、20 倍变焦等。 ⑤按安装方式分类：分为普通安装镜头、隐蔽安装镜头（针孔镜头） ⑥按用途分类：照相镜头、摄影镜头、单板式CCD镜头

26 b、光电器件 (1) 外光电效应及其器件 ①外光电效应 原理：光 → 物体表面 → 光电子发射
特点：速度快---从光照射到释放电子时间不超过10-9秒。 需足够光能---光子能力 > 表面溢出功 应用：足够的光强，高速---光电开关 ②光电管 原理：光 → 阴极 → 光电子 → 阳极 → 空间电子流→外接电阻 → 压降U=f(I) 特点：简单，灵敏度低 （充入惰性气体→气体轰击→自由电子）

27 光 → 半导体 → 电子吸收能量 → 跃迁 → 电子-空穴对
③光电倍增管 原理：光 → 阴极 → 光电倍增极→ 阳极 → 电流 特点：光电流大，灵敏度高 倍增率=δn , δ-单极倍增率（3~6） n-倍增极数（4~14） ④应用：开关测量 → 光电开关 ，计数 (2) 内光电效应 导带 禁带 价带 半导体能带图 ①原理： 光 → 半导体 → 电子吸收能量 → 跃迁 → 电子-空穴对 光电导效应： 原理：光 → 电子-空穴对 → 导电性 → 电阻 器件：光敏电阻、光敏二极管、光敏三极管 光生伏特效应: 原理： 光→PN结（无偏置）→ 电子→N, 空穴→P → 电动势 器件：光电池 （硅，锗）

28 ②光敏电阻： 原理：电阻器件，加直流偏压，无极性 无光照---电子-空穴对很少---电阻大(暗电阻) 有光照---电子-空穴对增多---导电性增强 特点：灵敏度高，体积小，重量轻，性能稳定 批量生产，价格便宜 特性：光照特性为非线性，光谱特性存在单峰，动态特性好 光照特性 光谱特性 动态特性 结构：金属封装---防潮 应用：工业自动化---开关元件，快速响应 家电---(感应式节能灯：判断照度)

29 ③光敏二极管（光电二极管, PD: Photo-Diode）
N 原理： 半导体PN结- 无光时---高阻特性，微弱电流—暗电流，μA； 光照时---电子→N,空穴→P → 光电流 光照愈强 --- 光电流愈大 特性：光照特性-灵敏度和线性好，光谱特性-单峰性 光照特性 光谱特性 应用：线性转换元件，开关元件， ④光敏三极管（光电三极管, PT: Photo-Triode） 原理：光敏二极管（bc结）+ 三极管 特点：灵敏度高于光敏二极管，

30 特性：光照特性---灵敏度高于光敏二极管，线性好
光谱特性---单峰性 动态特性---响应速度低于光敏二极管 动态特性 光谱特性 应用：线性转换元件，开关元件 ⑤高速光电二极管 PIN结光电二极管（PIN-PD） ： I-高电阻率的本征半导体 响应速度快，灵敏度高，线性好， 用于光通讯，光测量 雪崩光电二极管： PN + P+ → APD 响应速度快，灵敏度高，线性差， 用于光通讯脉冲编码

31 ⑥光电池 原理： 光→PN结→电子→N, 空穴→P → 电动势 光→电能→光电池（硅电池：单晶硅） 特点：有源器件，轻便、简单、无污染，动态特性好（硅） 工作于可见光波段---太阳能电池 连接方式：开路电压输出---(a) 短路电流输出---(b) 特性：光照特性---开路电压输出：非线性(电压---光强)，灵敏度高 短路电流输出：线性好(电流---光强) ，灵敏度低 光谱特性---硅电池：0.5~1.2μm(红-红外)，峰值0.8 μm(近红外) 锗电池：0.3~0.7μm(紫-红)，峰值0.5 μm(绿) 应用：宇航飞行仪器，仪表电源，便携仪表(计算器) --- 开关测量（开路电压输出），线性检测（短路电流输出）

32 ⑦位置敏感器件（PSD-Positional Sensing Device）
原理：光 → 光电二极管 → 空穴由N向P移动 空穴→1端→I 空穴→2端→I2 比值： 应用：位置检测(一维、二维) ⑧四象限光电池 Ⅰ Ⅱ Ⅲ Ⅳ 原理：集成4光电池 --- 四象限 光斑→4分量→I1 、I2 、I3 、I4 ； 比值： 应用：二维位置检测，准直 ⑨固态摄像器件：电荷耦合器件（Charge Coupled Device）--- CCD 说明：对于各种光电元件： （1）暗电流：无光照时输出电流 → 热噪声 （2）温度特性：温度 → 灵敏度、光谱特性 →降温、恒温、温度补偿 （3）器件材料： 硅 好于 锗

33 3、CCD摄像机 (1) CCD的种类： ①按成象器件分类：线阵CCD、面阵CCD 线阵CCD：一行，扫描；体积小，价格低；
②按颜色分类：黑白摄像机、彩色摄像机 黑白摄像机：信息量小，时间、空间少 彩色摄像机：信息量大，时间、空间多 ③按扫描方式分类：逐行扫描、隔行扫描 逐行扫描：高速运动，避免边缘模糊 ④按输出信号分类：模拟式、数字式 数字摄像机 ---- 电子快门 曝光时间: 1/50s、1/125s、1/250s、1/500s、1/1000s、1/2000s、1/4000s、1/8000s、1/16000s、1/32000s… ⑤按形状分类：长形、短形、方块形、半球形、单板形

34 (2)摄像机的主要参数： ①制式： PAL制式 --- 标准为625行，50场，中国采用隔行扫描（黑白为CCIR） （西欧、亚洲、澳大利亚） 相位交替行（Phase Alternating Line）--- 逐行倒相 NTSC制式 --- 标准为525行，60场（黑白为EIA）（美加、日本） 国家电视委员会（National Television Systems Committee) 非标准制式 --- 只有医疗或其它专业领域才用到 ②CCD芯片尺寸 ： 面阵CCD芯片

35 ③CCD分辨率： 是CCD的主要性能指标，它决定了显示图像的清晰程度， 分辨率越高，图像细节的表现越好。 像素 --- CCD每一个元素，像素越多，图像越清晰 44万（768*576）、100万（1024*1024） 200万（1600*1200）、600万（2832*2128） 电视线 --- 简称线(TV LINES)，彩色摄像头一般330~500线， 黑白可以达到600线。电视线与CCD和镜头有关， 还与摄像头电路通道的频带宽度直接相关，通 常规律是1MHz的频带宽度相当于清晰度为80线。 频带越宽，图像越清晰，线数值相对越大。 灰度级 --- 灰度分辨率、色彩分辨率， 1/2n 位数：8位（bit）、10位、11位、12位、 位数越多，图像越清晰。

36 也称灵敏度，是CCD对环境光线的敏感程度（最暗光线）。 单位---勒克斯，LUX，数值越小，需要的光线越少，越灵敏。
④最低照度 ： 也称灵敏度，是CCD对环境光线的敏感程度（最暗光线）。 单位---勒克斯，LUX，数值越小，需要的光线越少，越灵敏。 根据照度划分，CCD又分为： 普通型 正常工作所需照度1~3LUX 月光型 正常工作所需照度0.1LUX左右 星光型 正常工作所需照度0.01LUX以下 红外型 采用红外灯照明，在没有光线的情况下也可以成像 照度参考表： 天气 照度LUX 室内场所 晴天 30000~300000 生产车间 10~500 阴天 3000 办公室 30~50 日出日落 300 餐厅 10~30 月圆 0.3~0.03 走廊 5~10 星光 0.0002~ 停车场 1~5 阴暗夜晚 0.003~0.0007

37 典型值为46分贝， 如果为50分贝，则图像有少量噪声，但图像质量较好； 如果能达到60分贝，就不会出现噪声。 ⑤信噪比： ⑥光谱： 感光范围 — 可见光、红外、超声波等 交流220伏、24伏；直流12伏和9伏。 ⑦电源： 选择摄像机：芯片尺寸、像素数、 线数、灵敏度、光谱响应

38 4、图像存储体 (1)图像存储体的作用： ①接收来自摄像机的图像信号： 模拟摄像机 --- 标准电视信号 数字摄像机 --- 数字信号
②存储图像数据：容量大、速度高、存取方便 ③图像处理：简单预处理 --- 滤波、二值化 图像叠加 --- 直线、圆、数字、符号 视觉传感器模块 ④图像输出：输出到监视器 --- 监视、观察 输出到计算机 --- 图像处理、模式识别 (2)图像存储体的种类： ① 外置式：独立单元、单独供电、功能全面、容易构成视觉系统 视觉传感器 — 光源、摄像头、图像处理器、控制与通讯接口 ② 图像卡式：插入计算机扩展槽内 --- 使用方便、速度快、成本低 ③ 传输式：数字摄像机 --- 计算机接口/网络传输 （串行、并行、USB）

39 四、信号处理系统 1.信号处理电路 1）信号放大 ---- 运算放大电路（运算放大器） 电压（mV/V）；电流（ A/ mA）
光电元件 信号处理 图像处理 光 电 图像 1.信号处理电路 1）信号放大 ---- 运算放大电路（运算放大器） 电压（mV/V）；电流（ A/ mA） 2）噪声抑制 ---- 信号淹没在噪声中； 相敏检波：同步整流电路 模拟滤波：低通（LPF）、高通（HPF）、带通（BPF）、 带阻（BEF）、全通（APF）滤波器 3）电压/电流（V/A）转换 ---- 需要电流输出时； 4）模拟/数字（A/D）转换 ---- 需要输出数字信号时

40 2.图像处理技术 1) 图像增强 预处理+提取、识别、计算 成像 — 干扰等 — 图像降质 — 图像预处理 目的：
灰度校正---突出特征 --- 图像增强（锐化） 滤波降噪---去除噪声 --- 图像滤波（平滑化） 1) 图像增强 感兴趣特征 — 突出；不需要 — 衰减；不逼近 灰度修正：改变灰度分布 ---直方图修正 目标（前景）：黑的更黑、白的更白 --- 直方图拉伸 干扰（背景）：灰度模糊 --- 直方图压缩

41 直方图修正： (180, 230) (70, 30)

42

43

44

45 2) 图像滤波 --- 滤波器 图像噪声：强度随机信号 椒盐（Salt & pepper)噪声： 随机出现黑白亮度值
高斯噪声：高斯/正态分布－ 传感器噪声模型（摄像机电子干扰噪声等） 高斯噪声

46 原始图像 高斯滤波

47 3) 边缘检测 (1) 边缘定义 (2) 边缘检测算子 4) 图像描述与识别 边缘：图像局部亮度变化最显著的部分
分布：目标-目标、目标-背景、区域-区域 、 色彩-色彩 (2) 边缘检测算子 梯度算子、 Roberts算子 、 Sobel算子、 Prewitt算子 、 拉普拉斯算子、 LoG算子、 Canny算子 4) 图像描述与识别 --- 提取特征参量，识别物体

48 Sobel 算子 Roberts 算子 原始图像 Canny 算子 Prewitt 算子 LOG 算子 r

49 离焦 —不清晰、对比度不好 聚焦 —清晰、对比度好 return

50 return 夜晚景物图像对比 夜间模式 延长曝光时间 光积分时间短 --- 曝光量小 --- 景物亮度低 --- 对比度差
光积分时间长 --- 曝光量大 --- 景物亮度高 --- 对比度好 return

51 傍晚景物图像对比 F=8 F=5.6

52 阴天景物图像对比 F=11 F=5.6 return

53 r

54 r