免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

矩陣的分解，實際上是通過坐標(biāo)變換來揭示矩陣所表示的線性算子性質(zhì)。

在過去，人們靠公式的推導(dǎo)來簡化計算，線性代數(shù)主要用在理論分析和解方程，其重點是表達線性變換的特征，在不同坐標(biāo)上矩陣表示的相似性和標(biāo)準(zhǔn)形式。在計算機時代，人們關(guān)心矩陣的線性運算特征，抽取矩陣的線性放大特性和近似，應(yīng)用于海量的數(shù)據(jù)存儲和計算。代表著線性算子的一般矩陣的分解，特別是SVD分解，便成為今日關(guān)注的重點。

8.1 滿秩方陣的分解

滿秩的方陣對應(yīng)著一個坐標(biāo)變換，它可以分解為幾個初等變換的乘積。這個分解的目的，在于計算上通過這些初等變換的操作，來解方程和求逆。

我們知道，對線性方程組，調(diào)換組中方程的次序，在方程的兩邊同乘以非零的數(shù)，以及將一個方程乘數(shù)，兩邊同加在另一個方程上，都不改變方程組的解。

從線性空間角度來看，這不過是在值域空間做坐標(biāo)變換。方程的解x是b在矩陣列向量的線性組合系數(shù)，改變了這些向量的坐標(biāo)表示，當(dāng)然不改變b與矩陣列向量的線性表示關(guān)系。

我們把上面三種對方程組的操作稱為初等變換，即：（1）兩行（列）互換：R _i ? R _j，（2）把某行（列）乘以一非零常數(shù)：k R _i→ R _i , 其中k≠0，（3）把第i行（列）加上第j行（列）的k倍：R _i + k R _j→R _i。初等矩陣即是將上述3種初等變換作用到單位矩陣的結(jié)果，分別記為P_ij，D_i(k)，T_ij(k)。初等變換對應(yīng)于一個坐標(biāo)變換，初等矩陣左乘矩陣A，則是對A行的變換，它相應(yīng)于算子A的值域空間中的坐標(biāo)變換。初等矩陣右乘矩陣A，則是對A進行列的變換，它相應(yīng)于在算子A的定義域空間中坐標(biāo)變換。

讀者不難在頭腦中想象到初等變換的矩陣形式，初等矩陣都是滿秩的線性變換。從變換的含義馬上得出它們的逆矩陣分別是P_ij，D_i(1/k)，T_ij(-k)。

參考一下解方程中的高斯消去法，對于一個方陣A，它可以一系列行的初等變換，把它變成上三角陣U，即P₁P₂…P_sA=U，因為這些是初等矩陣，很容易寫出逆來相乘P_s^-1…P₂^-1P₁^-1=L，顯然A = LU. 消去法沒有換行時，P都是下三角陣，則L是一個對角線都是1的下三角陣，這便是LU分解。三角陣的線性方程可以用迭代法求解，這個分解用來解方程和求行列式。

不難想象k秩的矩陣A，可以等價于對角線上左上角開始有k個1，其余都是0的矩陣。如果A是一個滿秩的矩陣，它等價于單位矩陣。

對于n階滿秩方陣A求逆的計算，因為A的逆是一系列把它變成單位矩陣I的初等矩陣的乘積，把n階單位矩陣拼在A的右邊成為nx2n的增廣矩陣（A I），然后對它進行初等行變換，直至左邊的nxn那塊是單位矩陣，右邊那nxn部分就是A的逆。這個計算過程相當(dāng)于A^-1(A I)=(I A^-1)。

8.2 正交變換

一般線性空間中坐標(biāo)變換，包含著坐標(biāo)的拉伸、旋轉(zhuǎn)、翻轉(zhuǎn)、剪切等變換，坐標(biāo)軸之間可能是傾斜。這對只關(guān)心加法和數(shù)乘代數(shù)性質(zhì)的線性空間，并沒有什么關(guān)系。因為這抽象線性空間，根本沒有“拉伸”和“傾斜”等幾何的概念。長度和角度概念由內(nèi)積運算定義的，要講究這些，必須在內(nèi)積空間里來談?wù)摗?/span>

保持內(nèi)積不變的坐標(biāo)變換，也就是向量的長度和夾角，在不同坐標(biāo)系上的表示都保持不變。這種坐標(biāo)變換稱為正交變換，物理上稱么正變換。它的矩陣在實數(shù)域是正交陣，在復(fù)數(shù)域是酉陣。這直接可以從對偶算子和內(nèi)積等式推出〈y, x)〉=〈Uy, Ux)〉=〈y,U* Ux)〉→ U*U=I，在實數(shù)域U* = U^T. 以后我們都只在實數(shù)域上討論，對于復(fù)數(shù)域，將轉(zhuǎn)置換成共軛轉(zhuǎn)置就行。

內(nèi)積空間坐標(biāo)表示必須在標(biāo)準(zhǔn)正交基上，這樣才能保證同構(gòu)關(guān)系。正交變換是把這各向同性直角坐標(biāo)系，剛性地整體旋轉(zhuǎn)和翻轉(zhuǎn)，所以表示的向量長度和夾角在變換后保持不變。

對于線性變換的方陣，坐標(biāo)變換是同樣作用在算子的輸入和輸出空間，因為在內(nèi)積空間上坐標(biāo)變換必須是正交變換，在線性空間上相似的矩陣，在內(nèi)積空間上未必做得到。例如非對稱的矩陣有可能與一個對角陣相似，但未必有正交的坐標(biāo)變換做到這一點。在內(nèi)積空間（通過正交變換）與對角陣相似，當(dāng)且僅當(dāng)它是正規(guī)矩陣，正規(guī)矩陣A有A^*A  = AA*. 實數(shù)域上的對稱陣和復(fù)數(shù)域上的厄米矩陣都是正規(guī)矩陣。

m*n矩陣A， m≥n可以分解成列向量的m*n單位正交集Q與一個n*n的上三角陣R相乘，A=QR，這叫做QR分解。這個分解可以看作依次按照Gram-Schmidt方法對A中的列向量做正交化，Q就是單位正交化后的列向量，R中的元素是正交化過程中的內(nèi)積。

怎么把線性無關(guān)的列向量變成單位正交的向量組？這在幾何上很直觀。取矩陣A的第一個列向量 A1$A_1$ 把它標(biāo)準(zhǔn)化（歸一化）

在MATLAB和Octave中，用qr函數(shù)來計算行QR分解，指令為：[Q,R]=qr(A)，分解為m*m的Q陣和m*n的R陣。

8.3線性算子對核與像空間的分解

前面介紹過，表示線性算子的矩陣A，它的核Ker(A)是所有映射成零的向量集合，構(gòu)成了X中的一個子空間；它的像Im(A)是所有映射得到向量的集合，構(gòu)成了Y中的一個子空間。我們有線性代數(shù)的基本定理，表示為下圖。

算子A將輸入空間X和輸出空間Y，分別分解為正交的兩個子空間的直和。

X的線性子空間Im(A^T)和Y的Im(A)有相同的維數(shù)k，說明Im(A^T)的基向量在算子映射下的像作為Im(A)的基向量，算子A局限這子空間中，在這兩個基的矩陣表示是k階單位向量。

在Im(A^T)子空間選取k個線性無關(guān)的向量 {V₁,V₂, …,V_k}，在Ker(A) 選取n-k個 {V_k+1, …,V_n}，共同構(gòu)成X的一個基。令U_i= AV_i, i=1, 2, …,k，它們構(gòu)成子空間Im(A)的基，在Ker(A^T) 選取m-k個 {U_k+1, …,U_n}，共同構(gòu)成Y的一個基。在這兩個空間的基上，線性算子α$\alpha$表示表示為主對角線上前r個是1，其他全是0的“k秩準(zhǔn)單位陣”D。

秩數(shù)為k的線性算子在合適的基上都可以表示為“k秩準(zhǔn)單位陣”，即k秩的矩陣A可以分解成 A = UDV^-1，D是與A的行列數(shù)秩數(shù)相同的“準(zhǔn)單位陣”，V和U分別是X和Y空間里新舊坐標(biāo)的變換矩陣。注意到構(gòu)造V和U時基時，除了要求前k個U_i = AV_i,外，其他的基向量是在指定的子空間內(nèi)，任意選取線性無關(guān)的即可，所以除了D是由矩陣的秩唯一確定之外，有無數(shù)個不同U和V的分解。

8.4 奇異值分解

線性算子對核和像空間的分解只是簡單地區(qū)分對算子作用值“有影響”和“無影響”的兩部分。許多的應(yīng)用希望了解線性算子作用在不同方向的放大特性，這涉及到向量的長度和方向，必須在內(nèi)積空間中考慮，它要求坐標(biāo)變換不改變列向量表示的長度和夾角，即坐標(biāo)變換必須是正交變換。

線性算子A把輸入空間X分解成正交的Im(A^T)子空間和零空間Ker(A)的直和，A把零空間中向量都映成了零向量，Im(A^T)子空間中的向量與A像空間Im(A)的向量一一對應(yīng)。所以對算子放大特性的研究，只需要考慮它對Im(A^T)子空間中向量的作用。想象一下線性算子A作用在Im(A^T)子空間中一個單位向量v，v沿著各種可能的方向轉(zhuǎn)動，它的像Av的長度和方向也隨之變化，選取能夠讓它的像有最大長度σ₁的v，記為V₁，這個像的單位向量記為U₁，有AV₁=σ₁U₁；然后在Im(A^T)中與V₁正交的子空間里，再次選取具有最大長度σ₂像的V₂；如此可以進行k次，得到k個正交單位向量{V₁,V₂, …,V_k}，它們是一組Im(A^T)中標(biāo)準(zhǔn)正交基，有AV_i =σ_iU_i,，i=1, 2, …,k，放大率σ_i逐次減小，這便是線性算子A的放大特性。X空間中所有的向量可以分解成Im(A^T)和Ker(A)子空間中向量之和，后者被A映射為零向量。在零空間Ker(A)里補足n-k個單位正交向量{V_K+1,V_K+2, …,V_n}，以它們?yōu)榛?/span>A在上面的放大率為0，線性算子A在不同方向的放大率便直接反映在原空間坐標(biāo)軸與對應(yīng)像空間的坐標(biāo)軸方向上。這些單位正交向量構(gòu)成正交陣V，只要證明U_i構(gòu)成的矩陣U也是正交陣，就可以把它們看成是內(nèi)積空間里的坐標(biāo)變換，我們便能從奇異值分解中，得到線性算子對內(nèi)積空間不同方向的放大特性。

奇異值分解（簡稱SVD）說：對于秩數(shù)為r的m*n矩陣A，可以分解成 A = UΣV^T，這里U是m階正交陣，V是n階正交陣，Σ是主對角線上是從大到小的正數(shù)σ₁,σ₂, …, σ_k，其余都是0的m*n矩陣。這些正數(shù)稱為矩陣A的奇異值。

正交陣V表示一個只包含旋轉(zhuǎn)和翻轉(zhuǎn)的坐標(biāo)變換，它的列向量表示在X空間中那個相互正交的新坐標(biāo)軸單位向量。奇異值分解表達出A在這新坐標(biāo)軸方向上，依次表現(xiàn)出從最大σ₁到最小σ_k的向量長度放大率，直至退化到0的算子作用。U表示在Y空間經(jīng)過正交變換的新坐標(biāo)系統(tǒng)，它的前k個列向量作為新坐標(biāo)軸的單位向量，依此對應(yīng)著那些經(jīng)過放大作用后的向量方向。矩陣Σ表達算子這些從最大到最小放大率和秩。

從上述AV_i=σ_iU_i關(guān)系和正交陣V構(gòu)造，在Ker(A^T)中選取一組基向量補足列向量，讓U矩陣滿秩，我們知道不論U是什么都有分解式A = UΣV^T成立?，F(xiàn)在證明U可以是正交陣。AA^T = (UΣV^T)(VΣ^TU^T) = U(ΣΣ^T)U^T，AA^T是對稱陣，它可以通過正交變換對角化，而ΣΣ^T是對角陣，其對角線上的元素集合即特征值是由AA^T唯一確定的，這意味著這里的U是那個特征向量組成的正交陣。

如何簡單地計算V和放大系數(shù)σ_i？依上面相同的思路，注意到（A^TA）是個半正定的對稱方陣，它可對角化，有非負特征根在對角線上。通過解（A^TA）的特征方程，求出特征根和單位特征向量，調(diào)整這些單位特征向量在矩陣中排列的順序，使得對應(yīng)的特征值從大到小，構(gòu)造正交陣V，算子的放大系數(shù)便是這些特征根的正平方根。細節(jié)如下。

記Im(A^T)里的向量 {V₁,V₂, …,V_k} 與Ker(A) 里 {V_k+1, …, V_n}，組成單位正交陣V，設(shè)AV_i=σ_iU_i,，i=1, 2, …,k，σ_i是個正數(shù)，AV_i=0，i=k+1, …, n，因為U的列向量也都是單位正交的，所以有V^-1（A^TA）V = (AV)^T(AV) =U^Tdiag(σ₁²,σ₂², …, σ_r²,0, …,0)U= diag(σ₁²,σ₂², …, σ_r²,0, …,0)，這式子表示正交的坐標(biāo)變換V，把對稱陣(A^TA)變成對角線上是σ₁²,σ₂², …, σ_r², 0的對角陣。(A^TA)是半正定的對稱陣，它的特征值是σ₁²,σ₂², …, σ_r², 0 …,0，從大到小排列，它們對應(yīng)著V中的列向量為特征向量。這告訴我們，可以通過(A^TA)的特征值和特性向量得到這r個正數(shù)σ值和單位正交陣V和U，這時有 AV = UΣ，即A = UΣV^T。

注意這個分解中的矩陣U和V有時不是唯一的，在i >k時V中的列向量V_i可以在Ker(A)子空間中任選一組正交的基向量，U中的列向量U_i可以在Ker(A^T)子空間中任選一組正交的基向量，當(dāng)A^TA有重根的特征值時，相應(yīng)的列向量可以在它們的不變子空間中任選一組標(biāo)準(zhǔn)正交基向量，它們都構(gòu)成讓分解式成立的不同矩陣。但這些的不同都不影響它特征分析和應(yīng)用。

譜分析在物理和應(yīng)用數(shù)學(xué)上有著非常清晰物理含義，對稱矩陣總是可以通過坐標(biāo)的正交變換對角化，這意味著線性空間中的向量可以按不同的維度（頻率）分解，可對角化的方陣只是對線性變換的譜分析。奇異值分解是譜分析思想在任意線性算子上的推廣。

奇異值分解從子空間分劃和坐標(biāo)系旋轉(zhuǎn)翻轉(zhuǎn)的角度揭示算子的放大特性，這個分解式還未凸顯出它最引人注目的用處。將這分解式展開：

秩數(shù)為r的矩陣通過奇異值分解，把它變成了r個秩數(shù)為1的矩陣之和：

A=σ₁U₁V₁^T +σ₂U₂V₂^T+ … +σ_rU_rV_r^T,

當(dāng)r與m和n相比很小時，這在分析、計算及數(shù)據(jù)儲存上帶來很大的方便。因為奇異值是按大小順序排列的正數(shù)，我們甚至可以截取這連加式的前幾個作為近似。這個性質(zhì)在圖像壓縮，信號處理，統(tǒng)計上主成分分析（PCA）和機器學(xué)習(xí)上都有很好的應(yīng)用。奇異值分解自從1965年有了計算機上有效的算法后，現(xiàn)在已經(jīng)成為線性代數(shù)應(yīng)用最廣的分解式。

在包含著矩陣運算的計算機語言中，一般都有奇異值分解的函數(shù)，在MATLAB和Octave，可以用svd函數(shù)直接得出矩陣A的分解式 A = USV^T中的矩陣：[U, S, V] = svd(A);