基于WEB的嵌入式视频采集压缩瘦身服务器的设计

Presentation on theme: "基于WEB的嵌入式视频采集压缩瘦身服务器的设计"— Presentation transcript:

1 基于WEB的嵌入式视频采集压缩瘦身服务器的设计
西安交通大学信号与信息处理研究所 报告人：王黎明 2019/4/6 欧赛尔电子工作室

2 概述 1.系统的开发背景 2.系统实现的主要功能 3.系统实现具体方案 4.主要使用的技术
2019/4/6 欧赛尔电子工作室

3 1、系统的开发背景 2019/4/6 欧赛尔电子工作室

4 嵌入式视频采集压缩系统 开发背景 嵌入式32位微控制器系统与高性能数字信号处理器相结合 视频实时性要求进行硬压缩以及要求可以实现几种压缩标准
嵌入式视频采集压缩系统 开发背景 嵌入式32位微控制器系统与高性能数字信号处理器相结合 视频实时性要求进行硬压缩以及要求可以实现几种压缩标准 未来智能化网络化的需要 2019/4/6 欧赛尔电子工作室

5 1.嵌入式视频采集压缩系统 开发背景（1） （1）运行嵌入式操作系统的32位微控制器系统与数字信号处理器相结合
数字信号处理（DSP）芯片技术发展很快，因其强大的计算能力广泛应用于通信、控制、信号分析等领域。但作为一种专用处理器，通常不能完成一些通用微处理器完成的工作，也就不能有效地支持各种网络协议如TCP/IP或者UDP/IP。 而运行嵌入式操作系统的32位微控制器系统能够有效支持各种网络协议，但是在处理一些运算量较大的任务（如语音和图像信号的压缩和解压缩、数据通信中的加解密算法等）有时就不能够胜任。 因此本系统就是将两者结合起来，共同实现一个任务。 2019/4/6 欧赛尔电子工作室

6 1.嵌入式视频采集压缩系统 开发背景（2） （2）视频实时性要求进行硬压缩以及要求可以实现几种压缩标准
当前PC机通用CPU的处理能力和操作系统的结构，压缩实时性不高 硬件的实时压缩是专用芯片。对于用户很难能进行二次开发。 通用DSP作为编解码芯片的视频压缩具有较强的扩展性和二次开发能力 2019/4/6 欧赛尔电子工作室

7 1.嵌入式视频采集压缩系统 开发背景（3） （3）未来网络化的需要
Internet和Intranet已经渗透到社会生活的每个角落，当一台设备具有网络智能时，人们可以在任何地方、任何时间、任何地点、使用任何平台随时浏览实时的状态，并在远程实现对这台设备的监视、控制、诊断、测试和配置。 预计在不远的未来，每个设备中都将有一个IP地址，每个设备都具有远程维护功能并都能从Internet获取智能控制。也就是嵌入式操作系统设备作为网络服务器，拥有自己的IP地址，所面向的设备作为客户机。 2019/4/6 欧赛尔电子工作室

8 本系统将运行嵌入式操作系统的32位微处理器系统与数字信号处理器相结合，构成一个基于视频采集压缩系统的瘦身WEB服务器。
1.嵌入式视频采集压缩系统 开发背景（4） 本系统将运行嵌入式操作系统的32位微处理器系统与数字信号处理器相结合，构成一个基于视频采集压缩系统的瘦身WEB服务器。 2019/4/6 欧赛尔电子工作室

9 2、系统实现的功能 2019/4/6 欧赛尔电子工作室

10 2. 嵌入式视频采集压缩系统实现的功能 1) 支持PAL/NTSC合成视频的捕捉和采集，可以接受CCD摄像头输出的模拟视频信号，将其 采样量化为复合CCIR.601标准的数字视频信号 2) 能够对数字视频数据进行压缩和编码处理，具体采用的多媒体压缩标准可以H.263 、MJPEG MJPEG2000、 MPEG1、MPEG2等 3) 带有音频扩展接口，可以很方便的构成音频视频同步的网络视频监控系统，Audio/Video流的复合，完全实现音视频同步 4) 视频亮度﹑对比度﹑饱和度﹑色度﹑灰度可调等 5）监控系统可对镜头进行光圈、焦距、景深距离的控制操作对云台可做全方位控制，系统可以对云台的上下左右的转动以及配套的云台护罩的相应设备进行全方位的控制 6）通过局域网或者因特网和提供在线监控，可以在远程工作站查看，通过局域网或者因特网和实现远程摇摄/倾斜/放缩 8） 系统留有进一步完善和二次开发的余地，具有良好的软硬件接口，可以方便的集成到其它视频处理之中 2019/4/6 欧赛尔电子工作室

11 3. 系统的实现方案 2019/4/6 欧赛尔电子工作室

12 3. 嵌入式视频采集压缩系统的实现方案 2）系统总体实现框图 3）系统实现的创新性 4）系统实现的主要模块 5）系统的软件模块
1）系统总体实现方案 2）系统总体实现框图 3）系统实现的创新性 4）系统实现的主要模块 5）系统的软件模块 2019/4/6 欧赛尔电子工作室

13 3.1. 系统的总体实现方案 本用于视频会议或者监控的嵌入式视频压缩卡系统是以SAMSUNG公司的嵌入式ARM-S3C4510B芯片技术和TI公司的高性能C62x系列定点DSP芯片技术为基础，以太网络（Ethernet）接口结构的嵌入式视频图像采集压缩系统，其主要功能是将由CCD摄像头获得的模拟视频信号经A/D转换为数字视频信号后，视频信号通过高速DSP压缩成各种符合不同压缩标准的数据码流。视频压缩后的数据流由嵌入式微控制芯片ARM-S3C4510B通过DSP的扩展总线xBUS读出，通过嵌入式操作系统的UDP/IP协议栈，将数据打包，并运行web服务器，等待客户服务端通过网络访问数据流。 从而实现一个基于web的嵌入式视频压缩瘦身服务器。 DSP（SLAVE mode） ARM（MASTER mode） 2019/4/6 欧赛尔电子工作室

14 3.2. 系统总体实现框图 2019/4/6 欧赛尔电子工作室

15 3.3.系统实现的创新性 （1）采用独立的双处理器的结构，一个处理器用于视频的压缩，一个处理器用于运行操作系统实现控制功能，实现DSP的强大运算功能与嵌入式微处理器的强大控制功能相结合。 （2）操作系统uClinux内核嵌入到微处理器中，这种嵌入式操作系统内核源代码是公开的，易于在此基础上进行开发，同时uClinux操作系统本身带有完整的网络协议栈，无需开发者移植网络协议。 （3）独立的双处理器通信中采用DSP的扩展总线xBUS，这样可以充分利用DSP的双总线结构，尽量减少总线带宽的冲突。 （4）压缩算法上使用了国际上最新的Motion－JPEG2000的压缩算法。 （5）对摄像头现场控制也可以通过网络进行远程控制。 2019/4/6 欧赛尔电子工作室

16 3.4系统的主要模块 DSP处理器模块 2019/4/6 欧赛尔电子工作室

17 3.4 系统的主要模块 嵌入式微处理器模块 2019/4/6 欧赛尔电子工作室

18 3.4 系统的主要模块 视频采集模块： 该模块的主要功能是将从CCD摄像头输入的模拟视频信号转换为数字信号。普通CCD摄像头的输出是NTSC制式(或PAL制式)的复合全电视信号CVBS或是S-Video信号，二者均为模拟信号。通过PHILIPS公司的TV 解码芯片SAA7114H将模拟TV信号解码并且模数转换为符合CCIR.601标准的数字视频信号，并且存储到专用的视频FIFO芯片AL440B中，等待DSP处理。 CPLD通过SAA7114H的输出状态信号以及C6202B DSP的相应输出控制信号生成FIFO AL440B的控制信号。通过检测SAA7114H输出的同步信号来生成DSP中断，通知DSP读取视频FIFO中已满的一场图像数据。 2019/4/6 欧赛尔电子工作室

19 3.4 系统的主要模块 主处理器模块 模块主要是由TMS320C6202B DSP芯片，以及时钟电路等DSP外围器件构成。DSP运行的内部时钟是264MHz，外部的SDRAM运行在132MHz时钟。 主要实现的功能： 完成对视频AD模块输出的数字视频流的压缩编码 完成对整个硬件系统各模块的控制功能，实现数字视频流的传输控制 通过C6202B DSP的xBUS总线将压缩后的视频流传送到微控制器上 通过C6202B DSP的McBSP1模拟I2C总线，对视频AD芯片SAA7114H进行初始化，对视频FIFO通过模拟I2C总线进行配置。 对于需要进行语音处理的，完成相应的语音压缩编码的功能。 2019/4/6 欧赛尔电子工作室

20 3.4 系统的主要模块 EMIF数据总线技术 2019/4/6 欧赛尔电子工作室

21 3.4 系统的主要模块 EMIF地址总线技术 2019/4/6 欧赛尔电子工作室

22 3.4 系统的主要模块 音频模块 系统的音频模块主要是以一块语音AD/DA芯片TLC320AD50C以及与之配套的模拟音频输入输出电路构成。TLC320AD50C芯片最高采样率到22.05KHz，可以满足绝大多数语音应用的要求。该芯片的数字音频输入输出接口采用SPI模式，直接和C6202B DSP的McBSP0无缝连接。 系统中AD50采用主模式方式，而DSP的McBSP接口采用从模式形式，SPI总线通信中所需要的时钟CLK和分帧信号FS均由AD50产生并输入到DSP。 2019/4/6 欧赛尔电子工作室

23 3.4 系统的主要模块 电源模块 DSP的电源采用两种电压供电，DSP对这两种电压有上电顺序的要求，要求内核电源（CVdd）先于I/O电源（DVdd）上电。考虑到DSP的功耗问题，采用TI公司的电源模块TPS56300对DSP分别供电。 为了保证C6202B芯片在电源低于要求的电平时会产生失控状态，在系统中加入了电源监控电路。该电路能确保DSP在系统加电过程中及电源电压低于一定门限值时始终处于复位状态。电源监控电路采用TI公司的TPS ，同时它还可接手工复位开关以便人工控制。 考虑到因为整个系统的器件比较多，功耗可能比较大，因此使用了一片LM1117为系统提供3.3V的备用电源。 整个系统的电源为： 模拟 v，5.0V 数字 1.5v，3.3v，5.0v 2019/4/6 欧赛尔电子工作室

24 3.4 系统的主要模块 以太网控制模块 因为S3C4510B微控制器本身内置的以太网控制器，因此在硬件的设计上只需用实现物理层的一些协议要求。如电平转换，隔离滤波等。 2019/4/6 欧赛尔电子工作室

25 3.4 系统的主要模块 C6202B DSP与S3C4510B接口模块
DSP与微控制器的接口是通过C6202B的扩展总线xBUS实现的。这样做的优点是充分利用DSP的带宽资源，减少总线上的冲突，减轻EMIF总线压力。 接口DSP采用异步从模式，即DSP（slave），S3C4510B（master） DSP为高速器件，S3C4510B为低速器件，况且DSP工作在从模式下，这样就无需加入共享存储器模块，节省了开发的成本，同时也降低了开发的难度。 2019/4/6 欧赛尔电子工作室

26 3.5 系统的软件模块 DSP初始化程序包 视频AD和FIFO初始化程序包 音频AD/DA程序包 1）C6202B上电初始化配置
2）EMIF总线控制寄存器以及McBSP寄存器配置 3）设置DMA传输寄存器 4）设置中断向量表 视频AD和FIFO初始化程序包 1）I2C总线模拟软件包 2）视频AD配置软件包 3）视频FIFO配置软件包 音频AD/DA程序包 1）设置DMA传输通道寄存器 2019/4/6 欧赛尔电子工作室

27 3.5 系统的软件模块 视频压缩程序包 嵌入式操作系统 视频码流传输程序包 1）Socket接口的视频传输程序包 UART控制的程序包
1）DMA传输奇数场图像和偶数场图像插成一帧图像程序 2）YUV图像转换成JPEG2000要求的图像格式 3）视频压缩编码程序包 嵌入式操作系统 1）嵌入式操作系统的内核uClinux 2）引导操作系统的bootloader程序包 视频码流传输程序包 1）Socket接口的视频传输程序包 2）视频解码程序包 UART控制的程序包 通过UART控制云台的程序包 ARM从DSP的xBUS总线读取数据程序包 2019/4/6 欧赛尔电子工作室

28 3.6 系统的软模块 DSP视频压缩流程图 2019/4/6 欧赛尔电子工作室

29 3.6 系统的软件模块 嵌入式微处理器 软件流程图 2019/4/6 欧赛尔电子工作室

30 4. 主要使用的技术 2019/4/6 欧赛尔电子工作室

31 4. 主要使用的技术 高速定点DSP技术－－TMS320C62XX DSP 嵌入式操作系统技术－－uClinux操作系统
嵌入式微处理器技术－－ARM7内核微控制器 UDP/IP网络协议栈和以太网技术－－Sockets接口网络传 输开发 总线技术－－EMIF总线高速器件和高速器件隔离，DSP双总线结构 高速PCB板布线技术 最新的视频压缩编解码技术－－Motion-JPEG2000 2019/4/6 欧赛尔电子工作室

32 谢 谢！ 2019/4/6 欧赛尔电子工作室