复旦大学通信科学与工程系 光华楼东主楼1109 Tel: 65100226 pliu@fudan.edu.cn 线 性 代 数 Linear Algebra 刘鹏 复旦大学通信科学与工程系 光华楼东主楼1109 Tel: 65100226 pliu@fudan.edu.cn
第四章 线性空间与欧氏空间 一、线性空间的定义 第四章 线性空间与欧氏空间 一、线性空间的定义 设 V 是一个非空集合,如果它的任意元素: (1) 对加法与数量乘法两种运算封闭; (2) 满足以下 8 种 运算规律(公理) (2) ( + ) + = + ( + ) (1) + = + (3) + 0 = (4) + (- ) = 0 (5) k ( + ) = k + k (6) ( k + l ) = k + l (7) ( k l ) = k ( l ) (8) 1· =
人们经常把线性空间称为向量空间 把线性空间中的元素称为向量. 1. 凡满足以上八条运算规律的加法及数乘运算, 称为线性运算. 1. 凡满足以上八条运算规律的加法及数乘运算, 称为线性运算. 2 .判别线性空间的方法:一个集合,它如果 对于加法及数乘运算不封闭(不满足闭包性); 或者,不满足八条运算性质的任一条; 则不能构成线性空间. 人们经常把线性空间称为向量空间 把线性空间中的元素称为向量.
二、子空间的概念 (线性空间局部与整体的关系) 定义 4.2: 设 W 是数域 P 上线性空间 V 的 一个子集,若满足条件: (1) W 是非空的; (2) 如果α,β∈ W, 则α+β∈ W; (3) 如果α∈ W, λ∈ P 则 λα∈ W; 那么 W 是 V 的一个子空间.
设α1, α2, ..., αn 是数域 P 上线性空间 V 中的一组向量,考虑这组向量所有可能的线性组合所组成的集合 生成元 (子空间自成体系) 设α1, α2, ..., αn 是数域 P 上线性空间 V 中的一组向量,考虑这组向量所有可能的线性组合所组成的集合 是V的一个子空间,称它为由α1, α2, ..., αn 生成/ 张成的子空间 (generated/spanned by …) ,记为: 向量组α1, α2, ..., αn 称为此子空间的生成元 (generator).
§ 4.2 基、维数和坐标 定义 4.3: 线性空间 V 中向量组 ε1, ε2 , ..., εn ,如果它满足条件: 则称此向量组是线性空间 V 的一个基 (basis). 定义 4.4: 如果线性空间 V 的一个基所含向量个数为 n,则称 V 为 n 维空间, 记为 dim V = n.
定理 4. 2: 设α1, α2,. , αl 是 n 维线性空间 V 中 l 个向量,在 V 中取定一个基ε1,ε2, 定理 4.2: 设α1, α2, ..., αl 是 n 维线性空间 V 中 l 个向量,在 V 中取定一个基ε1,ε2,...,εn ,如果 αj 在此基下的坐标为 则向量组 α1,α2 ,...,αl 线性相关的充分必要条件是矩阵 的秩 rA< l . 线性无关的充要条件是 rA= l. 稍后用到 由向量组坐标矩阵的秩 判定其线性相关性.
定义 4.5: 设向量组 ε1,ε2,...,εn 是 n 维线性空间 V 的一个基,α是 V 中任意一个向量,则有 二、向量的坐标 定义 4.5: 设向量组 ε1,ε2,...,εn 是 n 维线性空间 V 的一个基,α是 V 中任意一个向量,则有 称数组 x1 , x2 ,…, xn 为向量 α 在基ε1,ε2,...,εn下的坐标(coordinates) , 记为 [x1 , x2 ,…, xn ]T 任意一个向量 α在一个确定的基下的坐标 是唯一的.
行空间和列空间的概念(补充) 矩阵Am×n 可以看作由行向量/列向量构成. 定义: 由A 的行向量张成的子空间为A 的行空间 (row space);由A 的列向量张成的子空间为A 的 列空间(column space). A 的行空间为如下形式 例 设 A 的列空间为 A 的行/列空间的维数为矩阵的秩. A 的行空间维数 = 列空间维数.
R(Amn) = {Ax | x Rn} Rm 用行/列空间的概念研究线性方程组 R(Amn) = {Ax | x Rn} Rm —— 系数矩阵 A 的 列空间 方程组 A X = b 可以写作 定理: (线性方程组相容) A X = b 相容的充要条件 是 b 在 A 的列空间中,或A的列空间包含 b .
A 的列向量组线性无关,它们是列空间的 一个基. 任意一个向量 b 在一个确定的基下的坐标 是唯一的. 第三章的结论,方程组 A X = b 只有唯一解. ↑ 如果把 b 换成零向量θ,θ必然在列空间 中(平凡解).
N(Amn) = {x | Ax = } Rn ——Ax = 的解空间,零空间 定义:矩阵Am×n的零空间,又称核空间(null space),是一组由下列公式定义的 n 维向量 N(Amn) = {x | Ax = } Rn ——Ax = 的解空间,零空间 零空间就是 A X = 0 的全部解向量的集合 . 当然,零空间是 Rn 的子空间.
A 的列向量组线性无关,r(A)=n, 此时 A 的 零空间只有一个 0 向量 . A 的列向量组线性相关,r(A)< n, A X = 0 的 基础解系就是它的一组基. 基础解系所含向量个数是 n-r(A) ,所以A的 零空间维数 是 n-r(A). 零空间也还可以看作与A “垂直(正交)”的 所有向量的集合,是行空间的正交补 . 列空间的正交补是 AT X = 0 的零空间. 注意区别于只含有零向量的零子空间.
问题:在 n 维线性空间 V 中,任意 n个线性无关的 向量都可以作为 V 的一组基. 三、过渡矩阵与坐标变换公式 问题:在 n 维线性空间 V 中,任意 n个线性无关的 向量都可以作为 V 的一组基. 我们也接触过几个标准基: R n 的标准基是 (e1 , e2 , ..., en) R 2×2 的标准基是 P[x]n的标准基是 (1 , x2 , ..., xn)
尽管标准基形式简单,但是很多实际问题中 标准基并不是最适用的. 尽管标准基形式简单,但是很多实际问题中 标准基并不是最适用的. 可以类比直角坐标系、圆柱坐标系、球坐标系、切平面—法向量坐标系、特征值问题等等. 对不同的基,同一个向量的坐标是不同的. 那么,同一向量在不同基下的坐标有什么关系呢? 换句话说,随着基的改变,向量的坐标如何改变呢? 不同的基可视作不同的参考坐标系, 所以,这实际上是不同参考坐标系下的坐标转化问题.
例如:在 R2 中,我们希望用新的基取代标准基 (e1 , e2) (1) 给定一个向量 x =(x1, x2 ) T,求它在基 u1, u2 下的坐标; (2) 给定一个向量 c 在u1, u2 下的坐标 c = c1u1+ c2u2 , 求它在标准基(e1 , e2)下的坐标。 (2)较为简单: 由此得到 c在标准基下的坐标 (x1, x2 ) T为
显然,对于(1)— 给定 x =(x1, x2 ) T,求它在基 u1, u2 下的坐标是(2)的逆过程: 所以, x = 3u1 - 2u2 .
定义 4.6: 设 ε1, ε2 , ..., εn 和 ε'1, ε'2 , ..., ε'n 是 n 维线性空间 V 中的两个基,且有: 借助矩阵表示为 则称矩阵 M 为由基ε1, ε2 , ..., εn 到 基 ε'1, ε'2 , ..., ε'n 的过渡矩阵(transition matrix).
基变换公式 基变换公式 过渡矩阵是基与基之间的一个可逆线性变换 .
定理 4.3: 设 ε'1, ε'2 , ..., ε'n 和ε1, ε2 , ..., εn 是 n 维线性空间 V 中的两个基,且有: 则 (1) 过渡矩阵 M 是可逆的; (2) 若 α∈V,且在基 ε1, ε2 , ..., εn 和 ε'1, ε'2 , ..., ε'n 下的坐标分别为 [x1,x2,...,xn ]T 和 [x'1,x'2,...,x'n ]T ,则有
证明:(1)由定理 4.2 推论知过渡矩阵 M 是可逆的: 因 M 是一个基在另一个基下的坐标矩阵. (2)由于向量α在基 ε1, ε2 , ..., εn 下的坐标为 [x1,x2,...,xn ]T ,即有. 同理 代入左式得 又已知
由于向量α在基 ε1, ε2 , ..., εn 下的坐标是唯一的故有 (2.5) 式成立. 坐标变换公式
例:在线性空间 R3 中,取定两个基: (1) 求由基 ε1, ε2 ,ε3 到基η1, η2 ,η 3 的过渡矩阵; (2)设向量α在基η1, η 2 , η 3 下的坐标为[0,-1,1]T, 求α在基ε1, ε2 , ε3 下的坐标。 解:由定义4.6,若过渡矩阵为M,则 记 A=[ε1, ε2 , ε3],B=[η1, η 2 , η 3],A、B皆为已知矩阵,且 A 可逆,问题归结为解矩阵方程
可通过矩阵的初等行变换求解: 所以,由基 ε1, ε2 ,ε3 到基η1, η2 ,η 3 的过渡矩阵为
(2)设向量α在基η1, η 2 , η 3 下的坐标为[0,-1,1]T, 求α在基ε1, ε2 , ε3 下的坐标。 由坐标变换公式(2.5)
例:设 P[x]3 的两个基分别为 (1) ε1=1, ε2= x , ε3= x2 , ε4= x3 ; (2) f1= 1 + x + x3, f2= x + x2, f3= 1 + x - 2x2, f4= 2 + x + x2 + x3 . 求由基(1)到基(2)的过渡矩阵; 解:按过渡矩阵定义有 由已知条件即得 所以, 过渡矩阵为
基/维数/坐标等概念也可以应用到线性子空间. 四、线性子空间的维数与基 基/维数/坐标等概念也可以应用到线性子空间. 例:线性空间 Rn 的子空间 N(A) = { X∈ Rn | AX = 0 } 的基,由齐次线性方程组解的理论,易知其为 AX = 0 的基础解系,dim N(A) = n - rA. 线性子空间的基 <=> 极大无关组. 线性子空间的基不唯一. 线性子空间的任意两组基等价. 线性子空间的维数 <=> 向量组的秩.
定理 4.4: 设α1, α2 , ... , αl 与 β1 , β2 , ... , βs 是线性空间 V 中的两个向量组。 (1) L(α1, α2 , ... , αl ) = L(β1 , β2 , ... , βs ) 的充分必要条件是 α1, α2 , ... , αl 与 β1 , β2 , ... , βs 等价; P146: 生成子空间 (2) L(α1, α2 , ... , αl ) 的维数等于向量组 α1, α2 , ... , αl 的秩. 证明:(1)必要性: 因为 因而每一个αi 都可以用向量组β1 , β2 , ... , βs 线性表示;
同样 因而每一个 βj 都可以用向量组α1, α2 , ... , αl 线性表示; 因此向量组 α1, α2 , ... , αl 与β1 , β2 , ... , βs 等价; 充分性:由于向量组 α1, α2 , ... , αl 与 β1,β2 , ... , βs 等价, 所以, 凡是可用向量组 α1, α2 , ... , αl 表示的向量,也一定可以用向量组β1,β2 , ... , βs 线性表示。 因为 L(α1, α2 , ... , αl ) 中的向量都是 α1, α2 , ... , αl 的线性组合,所以它们必定能用β1,β2 , ... ,βs 线性表示,因此必有:
同理亦有: 综合起来即得: (2) L(α1, α2 , ... , αl ) 的维数等于向量组 α1, α2 , ... , αl 的秩. 设向量组 α1, α2 , ... , αl 的一个极大线性无关组是 αi 1, αi 2 , ... , αi r 那么 αi 1, αi 2 , ... , αi r 与原向量组 α1, α2 , ... , αl 是等价的, 由 (1) 的结论
显然 αi 1, αi 2 ,. , αi r 是生成子空间 L(αi 1, αi 2 , 显然 αi 1, αi 2 , ... , αi r 是生成子空间 L(αi 1, αi 2 , ... , αi r ) 的一个基, 且 dim (αi 1, αi 2 , ... , αi r ) = r 由 (2.6) 知αi 1, αi 2 , ... , αi r 也是L(α1, α2 , ... , αl ) 的一个基,且 dim L(α1, α2 , ... , αl ) = r 因而 L(α1, α2 , ... , αr ) 的维数等于向量组 α1, α2 , ... , αl 的秩. 证毕.
§ 4.3 欧几里德(Euclid)空间 我们已定义了向量的加法与数乘运算,讨论了 向量空间的基本性质;但是, 与几何空间相比,似乎缺少了某些东西... 例如:向量的长度、向量间的夹角、内积 . . . 能否把这些重要概念推广到线性空间? 欧几里德(Euclid) 空间 ——长度、夹角、内积等概念是几何空间的 特征,是以欧氏几何为基础的, 故称该空间为欧氏空间.
欧氏空间是2维、3维几何空间的一般化,把 长度、夹角、内积等概念扩展到任意维数. 大家开始从低维几何学走向高维几何学... 欧几里德(约公元前330年—前275年),古希腊数学家, “几何之父”,著《几何原本》.
= ||||||||cos = a1b1 + a2b2 + a3b3. 一、欧几里德空间的定义及基本性质 x y z 在几何空间中,设非零向量 = (a1, a2, a3), = (b1, b2, b3) 如果两向量之间的夹角为 , 则它们的内积 = ||||||||cos = a1b1 + a2b2 + a3b3. = /2 cos = 0 = 0 cos = /(||||||||) 内积是关键! 不妨将内积的概念推广到线性空间.
(4) (α,α)≥0 ,当且仅当α=0 时(α,α)= 0 . 定义 4.7: 设 V 是实数域 R 上的一个线性空间, 如果对于 V 中任意两个向量 α与β, 都有唯一的 确定的实数 (不妨用(α,β)表示)与它对应, 且它 具有下列性质: 对称性 (1) (α,β) = (β,α); (2) (kα,β) = k(α,β); (3) (α+β,γ) = (α,γ) + (β,γ); (2、3)线性性 (4) (α,α)≥0 ,当且仅当α=0 时(α,α)= 0 . 恒正性 这里α,β,γ∈V,k∈R, 则称(α,β)为 α与β的内积,称引入内积后的线性空间 V 是欧几里德空间,简称欧氏空间.
注: 简单地说,引入内积 (inner/dot/scalar product)后的有限维实线性空间就是欧氏空间. 欧氏空间是特殊的线性空间—具备线性空间的所有性质. 但是欧氏空间除了线性运算外还有内积运算. 欧氏空间是实数域上的;线性空间可在任何数域定义. 复数域上有复内积空间的定义—酉空间. 所以欧氏空间∈内积空间.
例: 在 几何空间中,规定内积为 其中α,β为几何空间向量, ||||,|||| 表示 向量的长度,θ为向量间的夹角 这样规定的内积满足定义4.7 中的四个条件, 因此它是一个欧氏空间.
向量的内积 n>3以上维内积是三维向量内积的推广, 但是,没有直观的几何意义. 在线性空间 R n 中,对于向量 常定义内积 (inner/dot/scalar product) 如下 实数 这样规定的内积满足定义4.7 中的四个条件, 因此R n构成一个欧氏空间. n>3以上维内积是三维向量内积的推广, 但是,没有直观的几何意义.
(4) (f,f)≥0 ,当且仅当f=0 时(f,f)= 0 . 例:在线性空间C[a,b]中,对于任意两个实连续函数 f(x), g(x) ∈ C[a,b] ,定义内积 则C[a,b]构成一个欧氏空间. 显然,(f, g) 是实数,且满足4条性质: (1) (f,g) = (g,f); (2) (kf,g) = k(f,g); (3) (f+g,h) = (f,h) + (g,h); (4) (f,f)≥0 ,当且仅当f=0 时(f,f)= 0 . 所以,f, g 对于给定的内积定义构成欧氏空间.
欧氏空间的基本性质: (1) (α,0) = 0; (2) (α, kβ)= (kβ,α)= (kα,β) = k(α,β); (α+β,γ) = (α,γ) + (β,γ); (3) (α,α)≥0 ,当且仅当α=0 时(α,α)= 0 .
二、向量的长度与夹角 有了内积的定义,我们就可以进一步给出 欧氏空间内 向量的长度 与 向量间夹角的定义. 对于任一向量 , 总有 ( , ) ≥ 0, 因此 √ ( , ) 是有意义的,由此引入欧氏空间中 长度的概念.
定义 4.8: 设α是欧氏空间 V 的一个向量, 称非负实数 为向量α的长度(length) 或模或范数 (norm,2范数) ,记为: 长度的基本性质: (1) 正定性: |||| 0; 且|||| = 0 = ; (2) 齐次性: ||k|| = |k|·|||| (kR); (3) 三角不等式: || + || |||| + ||||.
单位向量(unit vector) a12 + … + an2 . 长度为 1 的向量称为单位向量. 令 = 1 |||| , 的长度(模) |||| = a12 + … + an2 . 长度为 1 的向量称为单位向量. 对于非零向量 , 我们可以将其单位化 /标准化(normalize). 令 = 1 |||| , 则|| || = 1. 把单位化
两向量之间的距离为 例:在线性空间 R2 中,向量: (1)求两向量之间的距离;(2) 将它们单位化。 解:向量距离的定义为数值 将两向量其单位化
定理 4.5: 柯西—施瓦茨不等式(Cauchy-Schwartz Inequality): 对于欧氏空间 V 中任意两个向量 , ,恒有 当且仅当 与 线性相关时等号成立. 柯西: 法国数学家(1789-1857年),主要贡献在微积分,复变函数和微分方程方面,许多定理和公式以他的名字命名. 施瓦茨: 德国数学家,魏尔斯特拉斯的学生,成就主要涉及分析学、微分方程、几何学等领域;他和柯西各自独立发现如上结论,故称为柯西—施瓦茨不等式.
证明:(1) = 0 或 = 0 时显然成立; 考虑 ≠ 0 , ≠ 0, 证明:(1) = 0 或 = 0 时显然成立; 考虑 ≠ 0 , ≠ 0, 由内积的性质,对任意实数 t
下面证明 与 线性相关时等号成立: 假设 与 线性相关,则 = k ,可得
下面证明等号成立时 与 线性相关: 假设等号成立,已知 ≠ 0 ,可得 内积的结果是实数 与 线性相关; 此时向量 与 夹角为零或π.
柯西—施瓦茨不等式的应用 应用于R n : 柯西不等式, 常用于不等式、三角形、 求函数最值、解方程等问题 柯西不等式, 常用于不等式、三角形、 求函数最值、解方程等问题 应用于C[a,b]中,对于任意两个实函数 f(x),g(x) ∈ C[a,b] 施瓦茨不等式, 函数论的重要工具.
推论:对于欧氏空间 V 中任意两个向量 , (3.3)称为三角不等式. 证明:利用柯西—施瓦茨不等式 两边开方即得 (3.3). 在几何空间中,即两边之和大于第三边.
= arccos (, ) ||||·|||| , 0 定义 4.9: 设 , 是欧氏空间中的两个 非零向量 定义, 的夹角(the angle between and ) 为 = arccos (, ) ||||·|||| , 0 定义的合理性分析:由柯西—施瓦茨不等式 在 0 与 之间必有唯一的 角度 使得定义成立.
例:在线性空间 R2 中,向量: 求两向量之间的夹角。 解:前例我们已将其单位化
解
定义 4.10: 若(, ) = 0, 即 = / 2, 则称与 正交或垂直 (orthogonal),记为 ⊥ . 由定义知 零向量与欧氏空间中任何向量正交. 零向量与自身正交,而且只有零向量 与自己正交. 欧氏空间中当向量 与 正交时 勾股定理
证明: 即勾股定理在欧氏空间中依然成立; 并且,可以推广到更一般的情形: 设欧氏空间中向量 1, 2 ,... , n 两两正交,则
显然 f, g 是正交的,它们的长度为 例:在线性空间 R3 中,向量: 正交 例:考虑线性空间C[-1,1]中,两个实连续函数分别为 f(x)=1, g(x)=x,参照前面内积的定义 显然 f, g 是正交的,它们的长度为
它们是正交的,所以满足勾股定理:
证明: f, g 是正交的,且长度为1 傅立叶分析中非常关键. 练习:考虑线性空间C[-π, π ]中,两个实连续函数分别为 f(x)=sin x, g(x)= cos x,定义内积的为 证明: f, g 是正交的,且长度为1 傅立叶分析中非常关键.
例: 设, Rn, 且与 线性无关, 求常数k 使 +k 与 正交. 解 (1):几何方法 γ与 α同方向,所以
解 (2): 代数方法 向量 +k 与 正交,所以 这个结果后面会用到.
布置习题 P 183: 1. (1)、(3) 2. 3. 4. 5. 7.(1) 8. 10. 11. 12.(1) (3) 13. 16. 17.(1) (2) 18.(1) (3)