Open AlexiaChen opened 4 years ago
之前的学习笔记主要学到的是线性映射，并且这个线性映射是T:V -> W, 也就是一个向量空间到另一个向量空间的，也简单提到了映射到自身向量空间的线性映射T: V -> V。这种特别的线性映射叫算子，在线代中也是非常重要的。
老样子，F是实数域R或复数域C。V是F上的向量空间。
V上的所有算子集合记为L(V,V), 设某个算子T ∈ L(V,V), 如果V有以下直和分解:
V = U1 + U2 + ... + Um
那么每个Uj（1 <= j <= m）就是V的真子空间，也就是它们的交集为空。如果我们把算子T的定义域限定在子空间U中，显然在处理问题会更好处理，因为更小。但是不是每个Uj都满足 T ∈ L(Uj,Uj)。也就是，T也有可能不是Uj上的算子，但是我们要引出的概念就必须把注意力放在Uj上的算子，即T ∈ L(Uj,Uj)。被算子映射到自身子空间非常重要。
因为重要，所以引出一个特别名字的空间叫不变子空间(invariant subspace):
设T ∈ L(V,V)。如果对每个u ∈ U都有T(u) ∈ U，那么称V的子空间U在T下不变。即T也是U上的算子。
提到不变子空间就为了研究最简单的非平凡不变子空间：一维不变子空间。
任取v ∈ V， v ≠ 0，并设U是v的标量倍构成的集合 U = {λ*v : λ ∈ F} = span(v)，则U是V的一维子空间(而且V的每个一维子空间都具有这种形式)。若U在算子T ∈ L(V,V)下不变，则T(v) ∈ U，因此必有标量λ ∈ F使得T(v) = λ*v。
看以上符号定义其实就是向量空间U是对向量v的张成。也就是U是向量v的张成空间。不过这个向量v是一个固定的罢了。
这个方程T(v) = λ*v与一维不变子空间密切相关，满足此方程的向量v和标量λ都有一个特别的名字----本征值(eigenvalue):
设T ∈ L(V,V)。如果存在v ∈ V使得v ≠ 0且T(v) = λ*v, 则称数λ ∈ F为T的本征值。
反过来也说明，在V空间算子T的作用下有一维不变子空间，当且仅当T有本征值。
有些时候本征值也叫特征值。不过叫本征值的多一些。
本征值有等价条件:
设V是有限维的， T ∈ L(V,V)且λ ∈ F。则以下条件等价: λ是T的本征值 T - λ*I不是单射 T - λ*I不是满射 T - λ*I不是可逆映射
设V是有限维的， T ∈ L(V,V)且λ ∈ F。则以下条件等价:
注意，I 也是V上的算子，只不过是恒等算子。I ∈ L(V,V), 对任意v ∈ V，均有I*v = v。
证明以上条件：
因为等式 T(v) = λ\*v => T(v) - λ\*v = 0 => T(v) - λ*(I*v) = 0 => (T - λ*I)v = 0
所以T - λ*I就不可能是单射，由于在有限维空间V上的算子T ∈ L(V,V)的单射，满射，可逆映射性质是蕴涵等价的，所以自然T - λ*I不可能是满射，可逆映射。
好了，现在我们可以由本征值引出本征向量(eigenvector):
设T ∈ L(V,V), 并设λ ∈ F是T的本征值，则称向量v ∈ V是T的相应于λ的本征向量，如果v≠0且T(v) = λ*v
不同的本征值有对应的不同的本征向量。一个算子T可能有多个不同的本征值。
并且，不同本征值的本征向量是线性无关的:
设T ∈ L(V,V)。设λ1，λ2，...,λm是T的互不相同的本征值，并设v1,v2,...vm是相对应的本征向量，则v1,v2,...vm是线性无关的。
还有一个本征值的推论:
设V是有限维向量空间，则V上的每个算子最多有dim V个互不相同的本征值
若T ∈ L(V,V)且U是V在T下不不变子空间，则U以自然的方式确定了另外两个算子T|U ∈ L(U,U)和T/U ∈ L(V/U,V/U)，于是，给出如下定义:
设T ∈ L(V,V)且U是V在T下的不变子空间。 限制算子(restriction operator)，T|U ∈ L(U,U)定义为: T|U(u) = T(u), 其中u ∈ U。 商算子(quotient operator),T/U ∈ L(V/U)定义为: (T/U)(v + U) = T(v) + U,其中v ∈ V。
设T ∈ L(V,V)且U是V在T下的不变子空间。
限制算子由于前面介绍不变子空间的时候了解过了，商算子说白话点就是在商空间上的算子，把不变子空间U商掉了，或者把不变子空间U看作了一个元素，相当于商空间V/U是V空间的压缩版，我之前写过椭圆曲线密码学，提到过环结构，商环的构造也是某种商结构，思想类似，商环在某种条件下就是有限域，因为Z/pZ, p为素数。
首先考虑限制算子T|U ∈ L(U, U), 它就是将T的定义域限定为U，并认为T是映射到U而不是映射到V的，U在V下不变这一条件，使得我们可以将T|U视为U上的算子
主要需要关注下以上算子的定义域，在某种意义下，可以通过研究以上算子来了解算子T，而算子T/U和T|U都是维数小于V的向量空间上的算子。
其实学习数学就是这样一个不断“忘记”一些“细节”的过程，人们总想处理一些更简单的问题，但是又不想破坏原来的某种结构，于是就有了类似“商”的思想，其实有限域什么的这些思想都类似，都是某种程度上的化简，而不丢失某种结构。
当然由于是不断“忘记”一些“细节”的过程，所以数学是慢慢越来越抽象的，也就是一般化。
算子理论要比线性映射理论更丰富，主要原因是算子能自乘为幂，我们从算子的幂以及多项式作用于算子这一关键开始。
若T ∈ L(V,V), 则TT有意义，并且也含于L(V,V) 可以用T^2 表示 TT。说人话就是T^2 ∈ L(V,V)。 那么定义T^n
设T ∈ L(V,V), n为正整数 定义T^n 为 T^n = T...T (n个T) 定义T^0为V上的恒等算子I。(I也是单位元) 若T是可逆的且其逆为T^(-1) ，则定义T^(-n) 为 T(-n) = T^(-1)^n = T^(-1)...T^(-1) n个T^(-1)
设T ∈ L(V,V), n为正整数
由上可以推出 T^nT^m = T^(n + m) 和 (T^m)^n = T^(mn)
当T可逆时 m和n是任意整数，当T不可逆时 m和n是非负整数。
由此可知T^n ∈ L(V,V)
定义p(T), 说人话就是多项式p的参数变成了算子T
设T ∈ L(V, V), p ∈ P(F), 对 z ∈ F 有p(z) = a_0 + a_1*z + a_2*z^2 + ... + a_nz^n 。 则p(T) 是定义为p(T) = a_0*I + a_1*T + a_2*T^2 + ... + a_n\T^n的算子
所以p(T)实际上也是一个算子。实际上p(T) ∈ L(V,V)。
定义多项式的积
设p,q ∈ P(F) , T ∈ L(V, V) 则 （pq）(T) = p(T)q(T) 分配性质 p(T)q(T) = q(T)p(T) 乘法交换律
设p,q ∈ P(F) , T ∈ L(V, V) 则
这个是复向量空间上算子的核心结果之一
复向量空间上的算子都有本征值
有限维非零复向量看空间上的每一个算子都有本征值
在这篇文章之前，我们大部分都是讨论T ∈ L(V, W)这样的从一个向量空间到另一个向量空间的线性映射的矩阵M(T)，这样的矩阵依赖于这两个向量空间的基的选取。既然这篇文章我们研究的是T ∈ L(V,V)这样的线性映射(算子)，要强调的就是现在只使用一个基。
定义算子矩阵(matrix of an operator), M(T)
设T ∈ L(V,V), 并设v1,v2,..., v_n是V的基。T关于该基的矩阵定义为n * n 矩阵
A（1,1） ... A（1,n） . . M（T）= . . . . A(n,1) .... A(n,n)
其元素A(j,k)， 定义为 T(v_k) = A(1,k)*v1 + .. + A(n, k)*v_n
显然从以上看，T(v_k) 还是一个向量，这个v1, v2,..., v_n的线性组合时使用的那些系数构成了矩阵M(T)的第k列。
因为我们都知道，对于一个m*n的矩阵M(T), T ∈ L(V, W)。也就是m行n列矩阵，那么关于这个矩阵的输入就是n维向量(n个变量), 输出就是m维向量（m个变量）， 说人话就是 n维向量空间到m维向量空间的映射。 那么矩阵的第一个列向量 就是把 n维向量空间的第一个基向量(1, 0, ..., 0) 长度为n，映射为m维向量空间上的新的第一个基向量，当然，这个新的基向量就是其矩阵第一个列向量。 那么矩阵的第二个列向量就是把n维向量空间上的第二个基向量(0, 1, 0, ..., 0) 长度为n，映射为m维向量空间上的新的第二个基向量，以此类推！所以总的来说，矩阵的列向量就是n维向量空间的基向量在m维向量空间上的新的基底。
或者需要表述更准确一点，上面的说法不太准确，应该这样表述，n维向量的n个n维默认基向量，经过矩阵M(T)的变换，被转换成了n个m维的目标向量。
如果n > m, 那么n个向量中肯定有线性相关的向量，因此这n个向量不能构成基底，因为m维向量空间的基底当然是m个线性无关基向量。 如果 n < m， 那么这n个向量即使线性无关，那么这n个向量的线性组合也无法张成m维向量空间，还是因为m维向量空间的基底当然是m个线性无关的基向量。
定义，矩阵的对角线
方阵的对角线由位于从左上角到右下角的直线上的元素组成
定义，上三角矩阵
一个矩阵称为上三角的，如果位于对角线下方的元素全为0
上三角矩阵的条件
设T ∈ L(V,V) , 且v1，v2, ..., v_n是V的基。则以下条件等价: T 关于 v1，v2, ..., v_n 的矩阵是上三角的 对每个j = 1,2,..., n 有 T(v_j) ∈ span(v1，v2, ..., v_j) 对每个j = 1,2,..., n 有span(v1，v2, ..., v_j) 在T 下不变。
设T ∈ L(V,V) , 且v1，v2, ..., v_n是V的基。则以下条件等价:
在T下不变，j <= n 就说明 T(v_j) 属于 向量组(v1,.., v_j)张成的向量子空间U， 而向量子空间U在T这个变换下不变。注， U是j维向量空间。
下面讨论复向量空间上，算子的特性。
在C上，每个算子都有上三角矩阵
设V是有限维复向量空间， T ∈ L(V,V)。则T关于V的某个基有上三角矩阵
这个定理对实向量空间是不成立的，因为，若算子关于一个基上有上三角矩阵，则这个基的第一个向量必定是该算子的本征向量。因此，若事向量空间上的一个算子没有本征值，则该算子关于任何基都不会有上三角矩阵。
可以由上三角矩阵确定可逆性
设T ∈ L(V,V)关于V的某个基上有上三角矩阵，则T是可逆的当且仅当这个上三角矩阵对角线上的元素都不是0。
从上三角矩阵确定本征值
设T ∈ L(V,V) 关于V的某个基有上三角矩阵，则T的本征值正好是这个上三角矩阵对角线上的元素。
定义对角矩阵
对角矩阵是对角线以外的元素全是0的方阵
显然，每个对角矩阵都是上三角矩阵。
因为有关于本征值λ对应的本征向量，那么对应的本征向量会组成对应的本征空间，这个本征空间是V的一个子空间。
定义本征空间 ，E(λ,T)
设T∈L(V,V), 且 λ ∈ F， T的相应于λ的本征空间(记作E(λ,T)) 定义为 E(λ,T) = null(T - λ*I) 也就是说，E(λ,T) 是T相对于λ的全体本征向量加上0向量构成的集合
本征空间之和是直和
设V是有限维的， T ∈ L(V,V)。 设λ1，λ2，..., λ_n是T的互异的本征值，则 E(λ1,T) + ... + E(λ_n,T) 是直和。 此外，dim E(λ1,T) + ... + E(λ_n,T) <= dim V
可对角化的等价条件
设V是有限维的，T ∈ L(V,V) 。 用λ1，λ2，..., λ_m是T的互异的本征值，则下列条件等价: T可对角化 V有由T的本征向量构成的基 V有在T下不变的一维子空间U1，U2，..., U_n 使得 V = U1 ⊕ U2 ⊕ .... ⊕ U_n V = E(λ1,T) ⊕ ... ⊕ E(λ_m,T) dim V = dim E(λ1,T) + ... + E(λ_m,T)
设V是有限维的，T ∈ L(V,V) 。 用λ1，λ2，..., λ_m是T的互异的本征值，则下列条件等价:
本征值足够多则可对角化
若T ∈ L(V,V) 有dim V个互异的本征值，则T可对角化。
其实这章主要是围绕有关于算子的特性展开的，主要是本征值和本征向量，其实说白了本征向量就是经过算子T ∈ L(V,V)变换下，这个向量方向并没有改变，既没有旋转也没有平移，有的只是比例缩放，而缩放因子就是本征值这个标量。既然本征向量经过T不变，那么本征值所对应的空间当然是本征子空间，有了本征子空间当然是找不变子空间，在变化中寻找不变，这就是数学上规约(reduction)的思想，所以本质上是把一个复杂的线性变换进行简化，最简单的线性变换自然是标量乘法，一般的矩阵自然不会是简单的数乘，但是如果矩阵可以对角化，我们就可以把这个矩阵表示的线性变换写成“在不同方向向量的数乘直和”
归而结网的一个思想就是，把复杂的数学对象分解成具体的，简单的，可理解的数学对象的组合，这种基本的方法论思想贯穿整个数学。甚至不太限制学科。
线性代数学习笔记之本征值和本征向量
之前的学习笔记主要学到的是线性映射，并且这个线性映射是T:V -> W, 也就是一个向量空间到另一个向量空间的，也简单提到了映射到自身向量空间的线性映射T: V -> V。这种特别的线性映射叫算子，在线代中也是非常重要的。
老样子，F是实数域R或复数域C。V是F上的向量空间。
不变子空间
V上的所有算子集合记为L(V,V), 设某个算子T ∈ L(V,V), 如果V有以下直和分解:
V = U1 + U2 + ... + Um
那么每个Uj（1 <= j <= m）就是V的真子空间，也就是它们的交集为空。如果我们把算子T的定义域限定在子空间U中，显然在处理问题会更好处理，因为更小。但是不是每个Uj都满足 T ∈ L(Uj,Uj)。也就是，T也有可能不是Uj上的算子，但是我们要引出的概念就必须把注意力放在Uj上的算子，即T ∈ L(Uj,Uj)。被算子映射到自身子空间非常重要。
因为重要，所以引出一个特别名字的空间叫不变子空间(invariant subspace):
本征值与本征向量
提到不变子空间就为了研究最简单的非平凡不变子空间：一维不变子空间。
任取v ∈ V， v ≠ 0，并设U是v的标量倍构成的集合 U = {λ*v : λ ∈ F} = span(v)，则U是V的一维子空间(而且V的每个一维子空间都具有这种形式)。若U在算子T ∈ L(V,V)下不变，则T(v) ∈ U，因此必有标量λ ∈ F使得T(v) = λ*v。
看以上符号定义其实就是向量空间U是对向量v的张成。也就是U是向量v的张成空间。不过这个向量v是一个固定的罢了。
这个方程T(v) = λ*v与一维不变子空间密切相关，满足此方程的向量v和标量λ都有一个特别的名字----本征值(eigenvalue):
反过来也说明，在V空间算子T的作用下有一维不变子空间，当且仅当T有本征值。
有些时候本征值也叫特征值。不过叫本征值的多一些。
本征值有等价条件:
注意，I 也是V上的算子，只不过是恒等算子。I ∈ L(V,V), 对任意v ∈ V，均有I*v = v。
证明以上条件：
所以T - λ*I就不可能是单射，由于在有限维空间V上的算子T ∈ L(V,V)的单射，满射，可逆映射性质是蕴涵等价的，所以自然T - λ*I不可能是满射，可逆映射。
好了，现在我们可以由本征值引出本征向量(eigenvector):
不同的本征值有对应的不同的本征向量。一个算子T可能有多个不同的本征值。
并且，不同本征值的本征向量是线性无关的:
还有一个本征值的推论:
限制算子与商算子
若T ∈ L(V,V)且U是V在T下不不变子空间，则U以自然的方式确定了另外两个算子T|U ∈ L(U,U)和T/U ∈ L(V/U,V/U)，于是，给出如下定义:
限制算子由于前面介绍不变子空间的时候了解过了，商算子说白话点就是在商空间上的算子，把不变子空间U商掉了，或者把不变子空间U看作了一个元素，相当于商空间V/U是V空间的压缩版，我之前写过椭圆曲线密码学，提到过环结构，商环的构造也是某种商结构，思想类似，商环在某种条件下就是有限域，因为Z/pZ, p为素数。
首先考虑限制算子T|U ∈ L(U, U), 它就是将T的定义域限定为U，并认为T是映射到U而不是映射到V的，U在V下不变这一条件，使得我们可以将T|U视为U上的算子
主要需要关注下以上算子的定义域，在某种意义下，可以通过研究以上算子来了解算子T，而算子T/U和T|U都是维数小于V的向量空间上的算子。
其实学习数学就是这样一个不断“忘记”一些“细节”的过程，人们总想处理一些更简单的问题，但是又不想破坏原来的某种结构，于是就有了类似“商”的思想，其实有限域什么的这些思想都类似，都是某种程度上的化简，而不丢失某种结构。
当然由于是不断“忘记”一些“细节”的过程，所以数学是慢慢越来越抽象的，也就是一般化。
本征向量与上三角矩阵
多项式作用于算子
算子理论要比线性映射理论更丰富，主要原因是算子能自乘为幂，我们从算子的幂以及多项式作用于算子这一关键开始。
若T ∈ L(V,V), 则TT有意义，并且也含于L(V,V) 可以用T^2 表示 TT。说人话就是T^2 ∈ L(V,V)。 那么定义T^n
由上可以推出 T^nT^m = T^(n + m) 和 (T^m)^n = T^(mn)
当T可逆时 m和n是任意整数，当T不可逆时 m和n是非负整数。
由此可知T^n ∈ L(V,V)
定义p(T), 说人话就是多项式p的参数变成了算子T
所以p(T)实际上也是一个算子。实际上p(T) ∈ L(V,V)。
定义多项式的积
本征值的存在性
这个是复向量空间上算子的核心结果之一
复向量空间上的算子都有本征值
上三角矩阵
在这篇文章之前，我们大部分都是讨论T ∈ L(V, W)这样的从一个向量空间到另一个向量空间的线性映射的矩阵M(T)，这样的矩阵依赖于这两个向量空间的基的选取。既然这篇文章我们研究的是T ∈ L(V,V)这样的线性映射(算子)，要强调的就是现在只使用一个基。
定义算子矩阵(matrix of an operator), M(T)
显然从以上看，T(v_k) 还是一个向量，这个v1, v2,..., v_n的线性组合时使用的那些系数构成了矩阵M(T)的第k列。
因为我们都知道，对于一个m*n的矩阵M(T), T ∈ L(V, W)。也就是m行n列矩阵，那么关于这个矩阵的输入就是n维向量(n个变量), 输出就是m维向量（m个变量）， 说人话就是 n维向量空间到m维向量空间的映射。 那么矩阵的第一个列向量 就是把 n维向量空间的第一个基向量(1, 0, ..., 0) 长度为n，映射为m维向量空间上的新的第一个基向量，当然，这个新的基向量就是其矩阵第一个列向量。 那么矩阵的第二个列向量就是把n维向量空间上的第二个基向量(0, 1, 0, ..., 0) 长度为n，映射为m维向量空间上的新的第二个基向量，以此类推！所以总的来说，矩阵的列向量就是n维向量空间的基向量在m维向量空间上的新的基底。
或者需要表述更准确一点，上面的说法不太准确，应该这样表述，n维向量的n个n维默认基向量，经过矩阵M(T)的变换，被转换成了n个m维的目标向量。
如果n > m, 那么n个向量中肯定有线性相关的向量，因此这n个向量不能构成基底，因为m维向量空间的基底当然是m个线性无关基向量。 如果 n < m， 那么这n个向量即使线性无关，那么这n个向量的线性组合也无法张成m维向量空间，还是因为m维向量空间的基底当然是m个线性无关的基向量。
定义，矩阵的对角线
定义，上三角矩阵
上三角矩阵的条件
在T下不变，j <= n 就说明 T(v_j) 属于 向量组(v1,.., v_j)张成的向量子空间U， 而向量子空间U在T这个变换下不变。注， U是j维向量空间。
下面讨论复向量空间上，算子的特性。
在C上，每个算子都有上三角矩阵
这个定理对实向量空间是不成立的，因为，若算子关于一个基上有上三角矩阵，则这个基的第一个向量必定是该算子的本征向量。因此，若事向量空间上的一个算子没有本征值，则该算子关于任何基都不会有上三角矩阵。
可以由上三角矩阵确定可逆性
从上三角矩阵确定本征值
本征空间与对角矩阵
定义对角矩阵
显然，每个对角矩阵都是上三角矩阵。
因为有关于本征值λ对应的本征向量，那么对应的本征向量会组成对应的本征空间，这个本征空间是V的一个子空间。
定义本征空间 ，E(λ,T)
本征空间之和是直和
可对角化的等价条件
本征值足够多则可对角化
总结
其实这章主要是围绕有关于算子的特性展开的，主要是本征值和本征向量，其实说白了本征向量就是经过算子T ∈ L(V,V)变换下，这个向量方向并没有改变，既没有旋转也没有平移，有的只是比例缩放，而缩放因子就是本征值这个标量。既然本征向量经过T不变，那么本征值所对应的空间当然是本征子空间，有了本征子空间当然是找不变子空间，在变化中寻找不变，这就是数学上规约(reduction)的思想，所以本质上是把一个复杂的线性变换进行简化，最简单的线性变换自然是标量乘法，一般的矩阵自然不会是简单的数乘，但是如果矩阵可以对角化，我们就可以把这个矩阵表示的线性变换写成“在不同方向向量的数乘直和”
归而结网的一个思想就是，把复杂的数学对象分解成具体的，简单的，可理解的数学对象的组合，这种基本的方法论思想贯穿整个数学。甚至不太限制学科。