多媒体搜索引擎 多媒体信息的数字表示

Multimedia Search Engine 多媒体信息的表示 计算机可以处理的东西 数字 信息要被计算机处理，必须表示成数字 如何用数字表示多媒体信息？ 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示字符 把所要表示的字符按某种顺序排列 A B C D E F …… 1 2 3 4 5 6 …… 按所排列的顺序编号 天 地 玄 黄 宇 宙 …… 1 2 3 4 5 6 …… 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示字符 A B C D E F …… 1 2 3 4 5 6 …… 天 地 玄 黄 宇 宙 …… 1 2 3 4 5 6 …… codepage代码页?? 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示字符 典型的codepage ASCII GBK, BIG5, SJIS UTF-8, UTF-16, UTF-32, UCS-2 同一个字在不同codepage下用不同的数字表示 同一个数字按不同codepage理解可得不同文字 乱码 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 同一个字在不同codepage下用不同的数字表示 我本将心向明月 GBK CE D2 B1 BE BD AB D0 C4 CF F2 C3 F7 D4 C2 JIS 89 E4 96 7B 8F AB 90 53 8C FC 96 BE 8C 8E UTF-16LE 11 62 2C 67 06 5C C3 5F 11 54 0E 66 08 67 UTF-16BE 62 11 67 2C 5C 06 5F C3 54 11 66 0E 67 08 UTF-8 E6 88 91 E6 9C AC E5 B0 86 E5 BF 83 E5 90 91 E6 98 8E E6 9C 88 BIG5 A7 DA A5 BB 3F A4 DF A6 56 A9 FA A4 EB 90 91 E6 98 8E E6 9C 88 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 同一个数字按不同codepage理解可得不同文字 CE D2 B1 BE BD AB D0 C4 CF F2 C3 F7 D4 C2 GBK 我本将心向明月 JIS ﾎﾒｱｾｽｫﾐﾄﾏﾂ BIG5 扂掛蔚陑砃隴堎 UTF-16LE 뺱ꮽ쓐싔 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示字符 Codepage标记 HTML：<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> XML：<?xml version="1.0" encoding="UTF-8"?> 纯文本：BOM (Byte Order Mark) UTF-8 EF BB BF …… UTF-16 BE: FE FF …… LE: FF FE …… ANSI：没有标记 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示字符 程序中文字信息的表示 char * wchar_t * string 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 声音的物理特性：声波 记录声音的模拟方法 用别的可变物理量“模拟”声波 如磁场大小：磁带 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 “数字”的方法 量化 15 13.3 13 -3 -1 2 6 7…… 采样 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样：多密？ 采样频率 量化：多少级？ 样本位数 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样（暂不考虑量化） 采样的目的：将来可以用所采样的样本恢复信号的本来面目 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 采样的目的：将来可以用所采样的样本恢复信号的本来面目 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 信号模型 周期信号 周期，幅度，相位 φ A T 频率： w =1/T 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 信号模型 复杂的周期信号 周期信号的叠加 非常复杂的信号 很多周期信号的叠加 频谱 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 信号模型 频谱：生成一个信号所需要叠加的各种周期信号的幅度的分布 t w t w 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 信号模型 频带：生成一个信号所需要叠加的各种周期信号的频率的范围 频带 这一半去哪了？ t w 对实信号，频谱一定是偶函数 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 采样 采样定理: 奈奎斯特采样定理，Nyquist采样定理 要保持一个连续信号的信息可以被恢复，采样频率必须高于信号最高频率的两倍 话音：<3400Hz 电话系统采样频率8KHz 人可听到的声音：<20KHz CD/声卡采样频率44.1KHz 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 15 多媒体信息的表示 实际值：13.3 输出值：13 用数表示声音 量化 把采样出的样本点的模拟值转换成数字值 动态范围：可表示的最大和最小物理量之间的差异 不是最大和最小输出值之间的差异！ 量化误差：输出值和输入值的差异 绝对误差：0.3/15=2% 相对误差：0.3/13=2.3% 信噪比：信号与噪声功率的比值 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 量化 信噪比（SNR：Signal to Noise Ratio) 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 量化 信噪比 无量纲量（比值） 信噪比相差3dB，信号质量大约相差1倍 人耳对信噪比的敏感度大致与强度无关 均匀量化的问题 最大误差0.5 1 附近：SNR=( 1/0.5)^2=4 =6dB 10 附近：SNR=( 10/0.5)^2=4*102=26dB 100 附近：SNR=( 100/0.5)^2=4*104=46dB 1000附近：SNR=(1000/0.5)^2=4*106=66dB 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 量化 非均匀量化：接近0的地方用更多的码点 浮点数 电话：A律，u律 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 常用数字音频系统 电话 采样频率：8KHz 量化位数：8位 量化方式：A律或u律 通道数：1 Audio-CD 采样频率：44.1KHz 量化位数：16位 量化方式：线性 通道数：2 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示声音 程序中音频数据的表示 基本结构：线性数组 数据类型 浮点：-1.0 ~ +1.0 16位整数：-32768 ~ +32767 8位整数：-128 ~ +127，或 0 ~ 255 样本 样本(sample) 通道(channel) 单通道音频 双通道音频 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示图像 R=179 G=99 B=97 采样 量化 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示图像 程序中图像数据的表示 基本结构：二维矩阵 数据类型 无符号8位整数 无符号16位整数 颜色平面(color plane) 像素(pixel) 像素 单色/灰度图像 扫描线(scan line) 彩色图像 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的表示 用数表示视频 多个连续数字图像组成的序列 程序中视频数据的表示 很少把整个视频放到内存中 一般放不下 需要复杂而高效的缓冲与解码机制 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的存储 文字信息的存储 纯文本文件 可能使用不同的codepage 可能有起始标记，或没有 HTML 有codepage标记 XML 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的存储 第一个样本块： (-1,+1) 音频信息的存储 WAV文件 文件头：RIFF 文件大小 媒体：WAVE 文件格式标记：fmt 格式域大小：16字节 编码：1 (PCM) 通道数：2 采样率：44100Hz 字节/秒：176400 44100*2*2= 176400 字节/样本块：4 位/样本：16 数据开始标志: data 数据大小 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的存储 图像信息的存储 BMP文件标记：BM 文件大小 保留域 信息域大小：40 数据开始位置 宽度：1060 高度：248 平面数：1 位/像素：24 第一个像素： (B=128,G=0,R=0) 格式：彩色图像，3色/像素 2018年11月8日 Multimedia Search Engine

Multimedia Search Engine 多媒体信息的存储 视频信息的存储 视频数据很大，一般不会以原始格式存储 压缩与编码 多媒体信息都很大 1百万字的小说：2MB 10分钟CD质量音频：100MB 10分钟普通电视质量视频：8.5GB 直接存储难以承受 如何节约存储空间？  压缩 2018年11月8日 Multimedia Search Engine