Poglavje Plavajoča vejica Slika : Plavajoča vejica Zapis je oblike ( ) o ( + m) e, mantisa je v normalizirani obliki, eksponent je podan z zamikom Več lahko najdete na tej strani Naloga Zapiši naslednja števila v dvojni natančnosti: (i) 785, (ii), (iii) 555 Rešitev (i) Število najprej pretvorimo v dvojiški zapis Lotimo se celega dela = + = + = () Potem pa še decimalni del 7875 = + 475 475 = + 875 875 = + 75 75 = + 5 5 = +
POGLAVJE PLAVAJOČA VEJICA Torej je 7875 = () Ker iščemo zapis normalizirane oblike ( ) o (+m) e, moramo število deliti/množiti z dva dokler ne dobimo m Torej () = () in e = Dobili smo o =, m = } {{ }, e = () 46 (ii) Število pretvorimo v dvojiški zapis = + = + 4 4 = + 8 8 = + 6 6 = + = + 4 4 = + 8 8 = + 6 = = 4 Mantisa je dolžine 5, torej moramo na ustreznem mestu odrezati Dobimo o =, m = }{{} Iz e = 4, dobimo e = 9, torej je e = Zadnje števke v mantisi so take zaradi (unbiased) zaokroževanja na najbližje število, ki ima zadnji bit enak Število, ki je najbližje }{{} in ima na označem mestu, je Tukaj označuje preostale decimalke (iii) Število pretvorimo v dvojiški zapis Celi del: 55 = 7 + 7 = 6 + = + = + 55 = () Še decimalni del: 5 = + 5 5 = + 5 5 = + 5 = () Dobili smo 555 = () Premaknemo decimalno piko, da dobimo normalizirano obliko Dobimo () = 7 Torej je o =, m = } {{ } Velja še e = 7, torej je e = () 4
Poglavje Numerična stabilnost Algoritem je direktno stabilen, če vrne rezultat, ki se malo razlikuje od prave vrednosti Algoritem je direktno stabilen, če za izračunan rezultat obstajajo taki malo zmoteni podatki, da iz njih s točnim izračunom dobimo izračunano vrednost Naloga Vrednost z = x y računamo na dva načina: (i) z = x y (ii) z = (x y)(x + y) Oceni relativno napako ẑ z z Ali je kateri od obeh algoritmov direk- Analiziraj algoritma tno/obratno stabilen? Rešitev (i) Imamo z = x x y y, â = x x( + α), b = y y( + β), ẑ = (â b)( + γ), kjer je α, β, γ u, u je relativna natančnost Sledi, da je (+δ ) (+δ ) {}}{{}}{ ẑ = x ( + α)( + γ) y ( + β)( + γ) Iz ocene u + u = ( u) ( + δ ) ( + u) = + u + u, pri majhnem u dobimo δ, δ u Ocenimo izraz Torej velja ocena: ẑ z = x δ y δ x δ + y δ u(x + y ) ẑ z z u x + y x y Iz tega vidimo, da ta algoritem ni direktno stabilen, saj lahko pri x in y, ki sta si blizu, dobimo veliko napako Algoritem je obratno stabilen Če definiramo x = x ( + δ ) in ŷ = y ( + δ ), ki sta blizu x in y, ter predpostavimo, da je računanje točno, dobimo zmoten izraz ẑ = x ŷ (ii) Oglejmo si še z = (x y)(x + y) Definirajmo â = (x y)( + α), b = (x + y)( + β) ter ẑ = â b( + γ), kjer je α, β, γ u Izraz je enak (+δ) {}}{ ẑ = (x y)(x + y) ( + α)( + β)( + γ),
4 POGLAVJE NUMERIČNA STABILNOST kjer s podobno oceno kot v prejšnji točki dobimo δ u Torej velja ocena ẑ z u z Na koncu dobimo ẑ z z u Algoritem je direktno stabilen Prav tako je obratno stabilen, iskana zmotena x in y sta recimo: x = x ( + δ), ŷ = y ( + δ) Naloga Pokaži, da za računanje vsote in produkta kompleksnih števil x, y C v premični piki velja: (i) fl(x + y) = (x + y)( + δ), δ u (ii) fl(xy) = xy( + δ), δ u( + u) Kompleksna števila si predstavljamo kot pare realnih števil Rešitev (i) Vsota x = a + bi in y = c + di je x + y = (a + c) + (b + d)i Dobimo fl(x + y) = (a + c)( + δ ) + i(b + d)( + δ ) = (a + c) + i(b + d) + (a + c)δ + i(b + d)δ, kjer je δ, δ u Po drugi strani je fl(x + y) = (x + y)( + δ) = δ(x + y) + iδ(x + y) Ko te dve enakosti primerjamo, dobimo (x + y)δ = (a + c)δ + i(b + d)δ Na obeh straneh izračunamo kvadrat absolutne vrednost in dobimo: x + y δ = (a + c) δ + (b + d) δ u ((a + c) + (b + d) ) = u x + y Iz tega sledi δ u (ii) Poglejmo si fl(xy) = xy( + δ) Produkt je enak xy = (ac bd) + i(ad + bc) Torej je: fl(xy) = (ac( + δ ) bd( + δ )) ( + δ ) + i (ad( + δ 4 ) + bc( + δ 5 )) ( + δ 6 ) = ac( + ɛ ) bd( + ɛ ) + i (ad( + ɛ ) + bc( + ɛ 4 )) = ac bd + i(ad + bc) + (ɛ ac ɛ bd) + i(adɛ + bcɛ 4 ) Torej smo dobili enakost xyδ = (ɛ ac ɛ bd) + i(adɛ + bcɛ 4 ) Spet izračunamo kvadrat absolutne vrednosti na obeh straneh Dobimo xy δ = (acɛ bdɛ ) + (adɛ + bcɛ 4 ) = (ac) ɛ + (bd) ɛ + (ad) ɛ + (bc) ɛ 4 + acbdɛ ɛ + abcdɛ ɛ 4 Če upoštevamo še q + w qw in q + w qw v podčrtanih izrazih ter da so vsi epsiloni pod u( + u) (oz u za majhen u), dobimo: ( ) xy δ (ac) ɛ + (bd) ɛ + (ad) ɛ + (bc) ɛ 4 ( (ac bd) + (ad + bc) ) (u( + u)) = xy (u( + u)) Iz tega pa že sledi δ u( + u) = u
Poglavje Matrične norme Matrična norma je preslikava : C n n R +, za katero velja (i) A, A = A =, (ii) αa = α A, (iii) A + B A + B, (iv) AB A B, submultiplikativnost Za poljubni matriki A in B in poljuben α C Naloga Pokaži, da je Ax A = sup Ax = sup x = x x matrična norma Tukaj je poljubna vektorska norma Rešitev Očitno velja A Če velja A = sup x = Ax, sledi da je Ay = za vsak y, torej je A = Velja tudi Podobno izračunamo αa = sup αax = sup α Ax = α sup Ax = α A x = x = x = A + B = sup x = (A + B)x = sup x = Ax + Bx sup ( Ax + Bx ) x = sup x = Ax + sup x = Bx = A + B Lotimo se še zadnjega pogoja, definirajmo še y = Bx = A B AB = sup (AB)x = x = = sup A x =,y=bx,y sup A x =,y=bx,y sup x =,Bx ( y y ( y y (AB)x Bx Bx ) Bx ) sup Bx x = = sup A y B sup Ay B x =,y=bx,y y y = 5
6 POGLAVJE MATRIČNE NORME S tem smo končali Upoštevali smo, da je supremum vsote pozitivnih števil manjši od vsote supremumov To prav tako velja za množenje Zadnji neenačaj dobimo, ker je supremum po večji množici kvečjemu večji Naloga Pokaži naslednje a) Dokaži, da N (A) = max i, j n a ij ni matrična norma b) Dokaži, da velja A F = sl(ah A) = n i= λ i (A H A), kjer so λ i lastne vrednosti A H A Rešitev a) Da so prve tri lastnosti matrične norme izpolnjene hitro preverimo Matrika ima normo nič, natanko takrat ko je njen največji element po absolutni vrednosti enak Če matriko množimo s skalarjem, se največji element matrike množi z absolutno vrednostjo tega skalarja Pri tretji lastnosti uporabimo trikotniško neenakost in dejstvo, da je maksimum vsote pozitivnih števil manjši od maksimuma številih vsote po posameznih številih Definirajmo matriki A in B takole A =, B =, A B = Velja N (A) =, N (B) =, N (AB) = Veljati bi moralo N (AB) N (A)N (B), vendar Submultiplikativnost ni izpolnjena b) Za B = A H A velja b ii = n k= a ki a ki = n k= a ki Tako za sled B dobimo ( n ) sled(a H A) = a ki = A F i= k= Matrika A H A je simetrična, torej se da diagonalizirati Podobna je matriki z lastnimi vrednostmi na diagonali Sled podobne matrike je enaka sledi prvotne matrike, tako dobimo A F = sl(a H A) = n i= λ i (A H A) Naloga Pokaži naslednje: a) n A F A A F b) n A A n A c) n A A n A d) N (A) A nn (A)
7 Rešitev a) Vemo, da velja A = max λ i (A H A) = σ (A) in A F = i=,,n λ i (A H A) i= Lastne vrednosti A H A so nenegativne, saj velja < A H Ax, x >=< µx, x >= µ =< Ax, Ax >, λ i = σi Razporedimo jih v zaporedje σ σ σ n Pozitivni koreni teh lastnih vrednosti σ σ so singularne vrednosti matrike A Očitno je A A F, saj je A enaka σ (A), kar je največja singularna vrednost matrike A Poglejmo si A F = ni= σi nσ = n A, kar pomeni n A F A Neenačaj dobimo, ker je σ (A) največja singularna vrednost b) Za vektorske norme velja x = max x i x + x n = x n max x i = n x, i n i to je x x n x Razmisli zakaj neeneakosti držijo, vsi sklepi so enostavni Iz tega dobimo Ax n Ax A = max max = n A x x x x in A = max x Ax x max x Ax = A n x n c) Velja A = A H in A = A H Iz tega že sledi neenakost d) Iz a) vemo A A F = a ij i,j n max i,j Za drugi del neenakosti upoštevamo a ij = e T i Ae j Računajmo a ij = n max a ij = nn (A) i,j a ij = e T i Ae j e i Ae j = Ae j e j A Prvi neenačaj dobimo po Cauchy-Schwartzovi neenakosti, zadnjega pa po definiciji norme A Naloga 4 Izračunaj,, F za 5 4 in oceni
8 POGLAVJE MATRIČNE NORME Rešitev Izračunajmo A = max{ + 5 +, + 4 +, + + } = 9, A = max{ + +, 5 + 4 +, + + } =, A F = 4 + + 9 + 5 + 6 + + 4 + 4 = 65 = 866 Ocenimo A A F A A F 465475 A 866 A A A 5, 775 A 7, 5 A A A 5, 965 A 5, 58846 N (A) A N (A) 5 A 5 Skupaj dobimo oceno 5775 A 866 Boljšo oceno dobimo, če poskusimo oceniti spektralni radij matrike 5 B = A H 7 A = 4 5 4 = 8 7 4 Za vsako lastno vrednost in vsako normo velja λ i (B) B F = 5899 Vemo, da velja A B F = 7774 Oceno navzdol dobimo, če upoštevamo A = A T in Ae i A e i = A, zadnja enakost sledi iz definicije matrične norme Vektorji Ae i so ravno i-ti stolpci, A T e i so i-te vrstice Norme vrstic so 57446, 446, 747 Norme stolpcev so 747, 6487, Torej dobimo A 6487 Končna ocena je 6489 A 7774 Ukaz iz Matlaba vrne norm(a) = 6944 Naloga 5 Izračunaj A, A, A F in čim natančneje oceni A na obe strani, če je a ii = i, i =,,, n a i+,i = a i,i+ = n i, i =,,, n, drugi elementi so enaki n n 4 n A = n 6 n Upoštevaj, da velja n i= i = (n )n(n ) 6
Rešitev Pri i = dobimo za vsoto absolutnih vrednosti v stolpcu n +, kar očitno ni maksimum Izračunajmo A = max{ i + n i + n i + } = max{i + n i + n i + } i i = max{n + } = n + i Ker je matrika simetrična velja A = A H = A = n + Frobeniusova norma je n A F = (i) + i = 6 i + 4n (n )n(n ) = 6 + 4n = 6 i= i= i= n(n )(n ) + 4n = n(n n + ) + 4n = n + n + n Poglejmo si ocene za drugo normo n A F A A F n n + n + n A n + n + n A A n A (n + ) A n(n + ) n n N (A) A nn (A) n A n Upoštevamo še, da velja A A A Iz tega dobimo A (n + ), kar pomeni A n + Za drugo normo smo dobili oceno n A n + 9
POGLAVJE MATRIČNE NORME
Poglavje 4 Reševanje linearnih sistemov Pogojenostno število matrike, cond(a) = A A nam pove kako občutljivo je reševanje sistema Da lahko dobimo poljubno občutljive matrike v praksi, pokaže naslednja naloga Naloga 4 Iščemo koeficiente polinoma p(x) = a +a x+ +a n x n, ki na [, ] aproksimira zvezno funkcijo f tako, da je napaka minimalna Torej mora veljati E a i Definirajmo vektor Od tod dobimo F i = f(x)x i dx = j= E = (f(x) p(x)) dx = za i =,, n, kjer je E = (p(x) f(x))x i dx a i F F F = F n a j x j x i dx = Dobimo sistem s Hilbertovo matriko H n, H ij = je H 5 = a a in; a = a n 4 4 5 5 6 i+j 4 5 6 7 a j x i+j dx = j= j= a j i + j Kar je sistem Ha = F Primer za n = 5 Hilbertove matrike so primer zelo občutljivih matrik Pogojenostno število H 5 je recimo približno 4766 5, kar lahko izračunamo z ukazom cond v Matlabu Pogojenostna števila matrik H n hitro rastejo Izkaže se, da smo dobili občutljiv sistem, ker smo vzeli standardno bazo polinomov stopnje n Za stabilno računanje moramo vzeti ortogonalno bazo polinomov 4 5 6 7 8 5 6 7 8 9
POGLAVJE 4 REŠEVANJE LINEARNIH SISTEMOV Izrek 4 Naslednji trditvi sta ekvivalentni (i) Obstaja enolični razcep A = LU, kjer je L spodnje trikotna matrika z enicami na diagonali, U pa nesingularna zgornje trikotna matrika (ii) Vse vodilne podmatrike A( : k, : k) so nesingularne Algoritem : LU razcep brez pivotiranja for j =,, n do for i =,, n do l ij = a ij a jj ; for k = j +,, n do a ik = a ik l ij a jk ; end end end Število operacij je n + O(n ) Izrek 4 Če je A nesingularna, potem obstaja taka permutacijska matrika P, da obstaja LU razcep P A = LU Algoritem : LU razcep z delnim pivotiranja L = ; P = I; for j =,, n do Poišči a qj = max j p n a pj ; Zamenjaj vrstici q in j v L, A in P ; for i = j,, n do l ij = a ij a jj ; for k = j +,, n do a ik = a ik l ij a jk ; end end end Število operacij je n + O(n ) Naloga 4 Z LU-razcepom brez pivotiranja reši sistem Ax = b, kjer je 4 A = 6, b = 8 4 8 6 Zapiši matriki L, U in vektor y, ki ga dobiš pri računanju Rešitev Lotimo se Gaussove eliminacije: 4 4 4 6 = U 4 8 6 = L
Izračunamo lahko tudi v bolj kompaktni obliki Zgornji trikotnik končne matrike vsebuje matriko U, spodnji trikotnik brez diagonale pa matriko L brez diagonale Upoštevamo, da ima matrika L na diagonali enice 4 4 4 6, 4 8 6 zgornji trikotnik je U, spodnji trikotnik brez diagonale je matrika L brez diagonale Rešimo sistem Ax = b, L(Ux) = b, y = Ux Algoritem : Prema substitucija, Ly = b for i =,,, n do y i = b i i k= l iky k ; end y y = y 8, 6 y = y = 8 + ( ) = 5 y = 6 ( ) 5 = 9 Algoritem 4: Obratna substitucija, Ux = y for i = n, n,, do x i = ( u yi ii n ) k=i+ u ik x k ; end 4 x x Torej dobimo x = [ T ] x = 5, 9 x = x = (5 ) = x = ( + + ) = Naloga 4 Za matriko naredi LU razcep z delnim pivotiranjem A = 6 7 Rešitev Algoritem poteka takole V stolpcu i poiščemo največji element, izmed a ji, j i po absolutni vrednostni Vrstico največjega elementa in i-to vrstico zamenjamo v L, A in P Normalno nadaljujemo z Gaussovo eliminacijo Na koncu velja P A = LU A = 6 7 6 7 G 6 7 / 5/ = U 6 7 / 5/ G / / = L / = P
4 POGLAVJE 4 REŠEVANJE LINEARNIH SISTEMOV Naloga 44 Matrika A je tridiagonalna, a c b a c A = b cn Kakšna je oblika matrik L in U v LU razcepu brez pivotiranja (s pivotiranjem)? Pivotna rast matrike je R = b a, kjer je b n a n a = max a ij in b = max b ij i,j n i,j n Gledamo koliko se lahko poveča največji element v matriki pivotiranju za tridiagonalne matrike R Dokaži, da je pri delnem Sestavi učinkovit algoritem za izračun LU razcepa tridiagonalne matrike brez pivotiranja (s pivotiranjem) Rešitev Oblika matrik je naslednja: l m l L = m n u p in U = u n l n p n u n Najprej poglejmo, kaj se zgodi s prvima dvema vrsticama Tako bomo dobili bazo indukcije Poglejmo si prve tri stolpce prvih dveh vrstic: a c b a c Imamo dve možnosti Prva je, da ne pivotiramo, torej velja a b in zato je b a Tako dobimo a c a b a c c Druga možnost je, da pivotiramo Ko zamenjamo vrstici, dobimo Po koraku s pivotiranjem dobimo b a c a c b a c c a b a c a b Podobno kot prej velja b < a in zato je a b < Dokažimo, da so diagonalni elementi manjši od a, kjer je a največja absolutna vrednost elementov v matriki A V prvem primeru velja a b a c a + b a c a
5 V drugem primeru velja c a b a c + a b a < a Pokažima še, da so izvendiagonalni elementi manjši ali enaki a V prvem primeru velja a a in c a V drugem primeru velja a in c a b c a b < a Naša indukcijska predpostavka je, da je v i-tem koraku v i-ti vrstici diagonalni element manjši od a, izvendiagonalni element pa manjši od a Imamo sledečo situacija za elemente a (i) c (i) b (i+) a (i+) c (i+) kjer je b (i+) = b i, a (i+) = a i+ in c (i+) = c i+ Poleg tega velja še a (i) a in c(i) a Naredimo analogen sklep kot za bazo indukcije in s tem dokaz končamo, saj potem velja b a Algoritma sta prepuščena za domačo nalogo, Naloga 45 Sestavi ekonomičen algoritem za izračun inverzne matrike spodnje trikotne matrike L z enicami po diagonali in preštej število operacij Rešitev Iz pravila za izračun inverza vidimo, da je inverzna matrika zopet spodnje ] trikotna z enicami na diagonali Rešujemo sistem LY = I, Y je oblike Y = [y y y n Dobimo več podproblemov oblike l j, l j, l j,j y j,j = = e lj +, l j+, l j j+,j y n,j Vemo, da je y j,j = Za i > j dobimo l i,j y j,j + l i,j+ y j+,j + l i,i y i,j + l i,i y i,j =, kar nam da y ij = i k=j l iky kj Vseh operacij je for j =,, n do y j,j = ; for i = j +,, n do y i,j = i k=j l iky kj ; end end
6 POGLAVJE 4 REŠEVANJE LINEARNIH SISTEMOV j= i=j+ (i j) = j= (n j)(n j + ) = n k= n k(k + ) = (k + k) k= = (n )n(n ) 6 + n(n ) = n + O(n ) Naloga 46 Poišči razcep Choleskega za matriko Kaj to pomeni za matriko A? Rešitev 8 8 A = 4 8 5 Algoritem 5: Razcep Choleskega A = V V T, V =? for k =,, n do v kk = a kk k i= v ki ; for j = k +, (, n do v jk = v kk a jk k i= v ji v ki ); end end = 8 8 4 / / 8 = /( ( )) 8 5 / /(8 ( )) 4 ( ) = /( ( + )) = V 5 ( + + ( ) ) = Matrika A je simetrična in pozitivno definitna, saj se je razcep Choleskega izvedel
Poglavje 5 Nelinearne enačbe Naloga 5 Za funkcijo f(x) = x + naredi korak bisekcije in tangentne metode a = x = 9 in b = Vzemi Rešitev Korak bisekcije je fa = f( 9) = ( 9) + = 7, fb = f( ) = ( ) + = 78, sign(fafb) = Zato lahko izvedemo korak bisekcije Nadaljujmo: c = (a + b)/ = 5, fc = ( 5) + = 5765, sign(fafc) <, torej vzamemo b = c To ponavljamo Za korak tangentne metode potrebujemo odvod f (x) = x Izračunajmo x = x f(x ) f (x ) = 9 ( 9) + ( 9) =, 5 Bisekcijo in sekantno metoda uporabljam takrat, ko ne poznamo odvoda ali pa je računanje odvoda zahtevno Izrek 5 Naj bo α koren enačbe x = g(x), naj bo g zvezno odvedljiva na I = [α d, α + d] in naj velja g (x) m < za vsak x I Potem za vsak x I zaporedje konvergira k α in velja ocena za napako x r+ = g(x r ), r =,, x r α m m x r x r Izrek 5 Imamo začetno točko x in interval I = [x d, x + d] Če velja g(x) g(y) m x y za m < in g(x ) x ( m)d, potem zaporedje x r konvergira k α in velja f(α) = Naloga 5 Za katere začetne približke je navadna iteracija za reševanje x = g(x), kjer je g(x) = + 8x x, konvergentna? Kam konvergira zaporedje? Kakšen je red konvergence? Kje nam konvergenco zagotavlja izrek? Namig: začetne približke išči na intervalu 7
8 POGLAVJE 5 NELINEARNE ENAČBE Slika 5: Koraki iteracije Rešitev (i) Pokažimo, da velja: x r < x r+ < x r Oglejmo si x r x r+ in pokažimo, da je izraz pozitiven Izračunajmo x r x r+ = x r g(x r ) = x r ( + 8x r x r) = 7x r + x r = (x r 4)(x r ) Zadnji izraz v enakosti je v primeru x r < strogo pozitiven (ii) Velja tudi: x > 5 x < Oglejmo si izraz x, to nam da x = 5 8x + x = (x 5)(x ) > (iii) Poleg tega velja x r+ 4 x r 4 za x r (, 5) Izračunajmo x r+ 4 = + 8x r x r 4 = 6 + 8x r x r = (x r 4), (5) ker je x r na (, 5), sledi x r 4 < in potem x r 4 < x r 4 Vidimo, da velja tudi x r 4 = (x 4) r, kar že zagotavlja konvergenco Zvezo dobimo z zaporedno uporabo enačbe (5) (iv) Za robne točke velja g() = g(5) = Naši možni rešitvi sta x = 4 in x =, x dobimo samo v primeru robnih točk, kar je praktično nemogoče Zato si oglejmo red konvergence za okolico ničle x = 4 Spomnimo se, da velja: metoda je reda p, natanko takrat ko g (x ) = = g (p ) (x ) = in g (p) (x ) Odvod je g (x) = 8 x, torej je g (4) = Red je vsaj kvadratičen Drugi odvod je enak g (x) = Torej je red kvadratičen Izrek nam konvergenco zagotavlja na intervalu, kjer velja g (x) < Torej mora veljati 8-x <, to pa je 5 < x < 45 Izrek nam da torej le potreben pogoj, iterativna metoda pa lahko konvergira še na večjem intervalu
9 Naloga 5 Iščemo rešitve enačbe f(x) = x 5 x + = Za iteracijsko funkcijo izberemo g(x) = x5 + Ali nam izrek zagotavlja konvergenco za x =? Oceni napako drugega približka Rešitev Za odvod mora veljati g (x) m < Kar je x4 <, x < 4 = 89 Torej imamo za x konvergenco Napako drugega približka bomo ocenili s pomočjo formule x r α m m x r x r Oceniti moramo še m, izberemo si interval [, ], kjer je funkcija skrčitev Vidimo, da velja m 4 = 8 Imamo x =, x = in x α 8 8 = 8 Tangentno metodo dobimo, če za naslednjo točko v iteraciji vzamemo presečišče tangente na funkcijo f z osjo x Tako dobimo x r+ = g(x r ) = x r f(xr) f (x r) Izrek 5 Naj velja f(α) = in naj bo α m-kratna ničla Če je m =, je konvergenca vsaj kvadratična Če velja še f (α) =, je konvergenca kubična Če je m, velja lim x α g (x) = /m Rešitev Dokazali bomo samo drugi del izrek, saj je prvi enostaven Če je α m-kratna ničla funkcije f, potem po definiciji obstaja l, da velja lim x α = l Po L Hopitalu dobimo lim x α f(x) (x α) m f (x) m(x α) m = l, saj gresta imenovalec in števec proti Najprej pokažimo, da velja lim x α x f(x) f (x) = α Zadosti bo, da dokažemo lim x α f(x) f (x) (x α) m, dobimo lim x α Izračunajmo še limito odvoda: f(x) (x α) m (x α) m f (x) m(x α) m = lim x α (x α) l ml = = Imenovalec in števec delimo z x f(x) g f (α) = lim (x) g(α) x α x α Nadaljujmo x f(x) f = lim (x) α x α x α = lim x α f(x) f (x)(x α) f(x) lim x α f (x)(x α) = lim x α f(x) (x α) m f (x) = l m ml = m m(x α) m x Naloga 54 Poišči red konvergence iterativne metode x r+ = g(x r ) = x r+a r za iskanje korena x r +a a, kjer a Pokaži, da je konvergentna za vsak x >
POGLAVJE 5 NELINEARNE ENAČBE Rešitev Odvod je enak g (x) = x + a x + a + + a) + x(x + a) x 6x(x (x + a) = x4 + ax + a 6ax (x + a) = (x4 ax + a ) (x + a) = (x a) (x + a), velja torej g( a) = g ( a) = Izračunajmo še drugi odvod g (x) = 4x(x a)(x + a) x(x a) (x + a) (x + a) 4 = x(x a)(x + a x + a) (x + a) = 48ax(x a) (x + a) Izračunajmo še tretji odvod g (x) = 48xa (x + a) x + (x a) x= a = 96a 64a = a Metoda je torej reda Poglejmo si razliko g(x r ) a: g(x r ) ( ) x a = x r + a x a = x r + ax r x r a a a r + a x r + a Tako velja Za < x < a lahko ocenimo x r+ a x r a = (x r a) x r + a x a a < = x + a a = (x r a) x r + a Za x a pišimo x = a + y in izračunajmo x a = y x + a 4a + y + 6 < y ay y = / < Tako ugotovimo, da ostanki po absolutni vrednosti strogo padajo proti Laguerrova metoda je metoda za iskanje ničel polinoma Iteracije je oblike z r+ = z r f(z) = a (z α )(z α ) (z α n ) nf(z r ) f (z r ) ± (n ) [(n )f (z r ) nf(z r )f (z r )] Velja ɛ r = x r α, ɛ r+ = Cɛ r + O(ɛ 4 r), kjer je C = (n )f (α) 8(n )f (α) f 6f (α) Predznak izberemo tako, da je izraz v imenovalcu po absolutni vrednosti največji Konvergenca je pri enostavnih ničlah vsaj kubična Naloga 55 Izpelji metodo kubičnega korena, tako da v Laguerrovi metodi pošlješ n Z izpeljano metodo izračunaj a Naredi tri korake za a = in x = Naloga 56 Izpelji metodo (f, f, f ) za iskanje enostavnih ničel, pomagaj si z razvojem inverzne funkcije v vrsto To je posplošitev tangentne metode
Rešitev Naj bo f(α) = in α enostavna ničla Oglejmo si y = f(x) v bližini α Ker je α enostavna ničla obstaja inverzna funkcija x = f (y) := F (y) in velja α = F (), x = F (f(x)) = F (y) Ničlo α razvijemo po y = f(x) v Taylorjevo vrsto okoli y = f(x): α = F () = F (y) yf (y) + y! F (y) Oglejmo si F (y) = x Z odvajanjem po x dobimo F (y)f (x) = F (y) = drugi odvod dobimo F (y)f (x) = f (x) f (x) F (y) = f (x) f (x) Torej je α = x f(x) f (x) f (x) f (x) f (x), vse višje člene zanemarimo Dobimo iterativno formulo x r+ = x r f(x r) f (x r ) f (x r ) f (x r ) f (x r ) V bližini enostavne ničle je red metode kubičen Dokaz je prepuščen za domačo nalogo f (x) Podobno za Naloga 57 V iteracijski formuli x r+ metoda vsaj kubična ( ) = A α + βx x 5 r r A + γx6 r A za A določi α, β, γ, da bo Rešitev Veljati mora g( A) = A, g ( A) =, g ( A) = Imamo Dobimo sistem: g(x) = αa x 5 + βax + γx, g (x) = 5αA x 6 βax + γ, g (x) = αa x 7 + 6βAx 4 α + β + γ =, 5α β + γ =, α + 6β = Iz tretje enačbe dobimo β = 5α Vstavimo v drugo in dobimo γ = 5α Nazadnje iz prve enačbe dobimo 9α = Torej je α = 9, β = γ = 5 9 Za A = 5 in x = dobimo g(x r ) = ( 5 + x 9x 5 r + x6 r r 5 ) Navedimo nekaj začetnih približkov: x = 7875, x = 799766, x = 79975947 Naloga 58 Določi vse polinome četrte stopnje z vodilnim koeficientom, pri katerih se tangentna metoda veda takole: v bližini α ima linearno konvergenco, v bližini α ima kubično konvergenco Določi še preostale ničle polinoma in red konvergence v njihovi bližini
POGLAVJE 5 NELINEARNE ENAČBE Rešitev Spomnimo se, da je v bližini enostavnega korena konvergenca vsaj kvadratična Če je prvi odvod enak, je konvergenca kubična V primeru večkratne ničle je konvergenca linearna Iz tega ugotovimo, da je α vsaj dvakratna ničla in α enostavna ničla Polinom je oblike p(x) = (x + α)(x α) (x d), kjer je d neznana ničla Uporabimo formulo Dobimo (f(x)g(x)) (n) = f (i) (x)g (n i) (x) i= p (x) = (x α) + 4(x α)(x d) + 4(x + α)(x d) + (x α)(x + α) Če hočemo, da bo konvergenca kubična, mora veljati p ( α) = Vstavimo α: p ( α) = ( α α) + 4( α α)( α d) + + = 8α(α + α + d) =, iz česar dobimo d = α Ničla α je enostavna, konvergenca je vsaj kvadratična Izračunajmo še vrednost drugega odvoda v α: p ( α) = ( α α) + + + ( α + α)( α α) = α Konvergenca v α je kvadratična Newtonova metoda se uporablja za iskanje rešitev sistema F (z) = Metoda je posplošitev tangentne metode Označimo z r = z r+ z r Recimo, da je z r+ ničla Velja = F (z r ) + J(z r )(z r+ z r ), kjer je J Jacobijeva matrika parcialnih odvodov reda Dobimo J(z r ) z r = F (z r ) Pri vsakem koraku rešimo sistem in dobimo z r, z r+ = z r + z r Naloga 59 Nastavi Newtonovo metodo za reševanje sistema: Velja F = f f Izračunajmo f (x, y) = x xy + =, f (x, y) = x y y = fx f JF = y = f x f y x y 6xy 6xy x y Rešitev Na vsakem koraku rešimo: x r yr 6x r y r xr x 6x r y r x r yr = r x r yr + y r x ry r yr Izračunamo x r+ = x r + x r in y r+ = y r + y r To ponavljamo za r =,,
Naloga 5 Pascalova matrika P 5 ima strukturo 4 5 6 5 4 5 5 5 5 7 V splošnem je i, j-ti element P n enak ( i+j ) j Izračunaj razcep Choleskega za P5 in iz dobljenega razcepa postavi hipotezo za P n ter jo dokaži Namig, upoštevaj zvezo med binomski koeficienti, ki jo dobiš, če razpišeš enakost (x + y) a+b = (x + y) a (x + y) b Rešitev Za razcep Choleskega dobimo P 5 = V 5 V5 T, kjer je V 5 = 4 6 4 Opazimo, da velja v ij = v i,j + v i,j Velja še v i = v ii = Kar nam da idejo za v ij = ( i j ) Za n = 5 preverimo, da je to res V splošnem moramo dokazati (P n ) ij = j (V n ) ik (V n ) jk = k= j k= Če pišemo a = i, b = j in k = k, dobimo ( )( i j k k ( )( ) b a b k k k = Razpišimo (x + y) a+b = (x + y) a (x + y) b Dobimo a+b k= ( ) ( a + b a x k y a+b k = k Primerjamo koeficente pri x b y a Dobimo ( ) a + b = b i=j i= ( a i ( ) a )x i y a i i )( b j )? = ) ( )( ) b a b = k k k= ( ) i + j j ( ) b b x b j y j j j=
4 POGLAVJE 5 NELINEARNE ENAČBE
Poglavje 6 Predoločeni sistemi, ekstremi funkcij Naloga 6 Podane so točke (x, y ), (x, y ),, (x n, y n ) Poišči funkcijo oblike f(x) = ae bx, ki se bo najbolj prilegala tem točkam Uporabi metodo najmanjših kvadratov Rešitev Iščemo par (a, b), ki minimizira funkcijo G(a, b) = (y i ae bx i ) i= Funkcija G ima minimum, ko so vsi parcialni odvodi enaki nič Dobimo sistem Kar je ekvivalentno reševanju sistema G n a (a, b) = (y i ae bx i )( e bx i ) =, i= G n b (a, b) = (y i ae bx i )( ax i e bx i ) = f (a, b) = f (a, b) = i= (y i ae bx i )e bx i =, i= (y i ae bx i )e bx i = i= Uporabimo Newtonovo metodo Parcialni odvodi so enaki Za f a f b f a f b J = = e bx i i= = x i e bx i (y i ae bx i ) i= = x i (e bx i ) i= = x i e bx i (y i ae bx i ) i= [ f a f a ] f b f b, F = f f 5
6 POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ rešujemo sistem J(z r ) z r = F (z r ) Začetni približek lahko dobimo prek linearizacije ae bx = a + abx Druga možnost je, da poiščemo a, b, tako da gre funkcija čez dve podani točki Radi bi rešili sistem Ax = b, kjer je A C m n matrika polnega ranga, x C n, b C ter m n Sistem v splošnem ni rešljiv, zato minimiziramo normo ostanka Ax b Izkaže se, da je tak x ravno rešitev normalnega sistema A T Ax = A T b Naloga 6 Merili smo tir delca, ki se naj bi gibal po paraboli i x i f(x i ) 4 7 4 4 4 4 V bližini teh točk bi radi potegnili parabolo Določi njene koeficiente po metodi najmanjših kvadratov Uporabi normalni sistem in ga reši z Gaussovo eliminacijo (po metodi Choleskega) Rešitev Parabola naj bo a + bx + cx Dobimo a b + c = 4 a + b + c = 7 4 a + b + c = 4 a + b + 4c = 4 A z { }} { x {}}{ {}} { a 4 7 b = 4, c 4 4 4 kar je predoločen sistem Ax = z Iz tega dobimo normalni sistem Sistem rešimo z Gaussovo eleminacijo B = A T 4 6 8 A = 6 8 in v = A T z = 4 6 8 8 6 B {}}{ A T A x = A T z = v Izračunamo 4 6 8 6 8 4 6 8 4 6 8 4 6 8 8 6 6 4 4 4 Lahko uporabimo razcep Choleskega Najprej izračunamo razcep Choleskega matrike B = V V T in dobimo V = 5 5 Dobimo sistem V y {}}{ (V T x) = z Iz 5 y 8 y = 4, 5 y 6 y + y + y = 8 y + 5y + y = 4 y + 5y + y = 6 y 4, dobimo y = 4 y
7 Rešiti moramo še sistem V T x = y, kar je 5 a 4 5 b = c Rešimo sistem in dobimo a =, b =, c = Parabola je x + x Naloga 6 Sestavi ekonomičen (čim manj operacij) algoritem za računanje razcepa Choleskega, A = V V T pozitivno definitne tridiagonalne matrike Koliko operacij porabiš za izračun B = V T V Rešitev Matrika A je oblike a b b a b A = b, bn b n a n torej bo V V {}}{ T {}} { u u v u v u n v n v n u n u n v u A = v u Ko matrike zmnožimo dobimo u = a in v i u i = b i ter v i +u i+ = a i+ za i =,, n Iz tega že lahko zapišemo algoritem Porabili smo n množenj/deljenj in n korenjenj Izračunajmo u = a ; for i =,, n do v i = b i /u i ; u i+ = a i+ vi ; end še V T V : c d d c d V T V = d dn d n c n
8 POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ for i =,, n do c i = u i + v i ; d i = v i u i+ ; end c n = u n; Porabimo n množenj Izrek 6 Naj bo A R m n, kjer je m n in rang(a) = n Potem obstaja enolični QR razcep A = QR, kjer je Q pravokotna matrika dimenzije m n z ortogonalnimi stolpci, R pa zgornje trikotna matrika s pozitivnimi diagonalnimi elementi for k =,, n do q k = a k ; for i =,, k do r ik = q T i a k(cgs) ali r ik = q T i a k(mgs); q k = q k r ik q i ; end r kk = q k ; q k = q k r kk ; end Pri reševanju predoločenega sistema si lahko pomagamo s QR razcepom Boljša je različica z MGS Dobimo, da moramo rešiti sistem Rx = Q T b Boljše je narediti razširjen QR razcep: Ax b = [ A ] x R z x b = Q q n+ = Q(Rx z) ρq ρ n+ Iz česar dobimo, da moramo rešiti sistem Rx = z, maksimum pa je enak ρ Naloga 64 Poišči normalni sistem za reševanje naslednjih dveh problemov najmanjših kvadratov, kjer je A R m n, m n in rang(a) = n (i) Uteženi problem najmanjših kvadratov Iščemo kjer je D nesingularna diagonalna (ii) Iščemo min x D(Ax b), min x Ax b C, kjer je C simetrična pozitivno definitna, ki generira normo x C = (x T Cx)
9 Rešitev (i) Izračunajmo min x D(Ax b) = min DAx Db, x matrika F = DA je spet dimenzije m n Označimo še Db = b, tako dobimo predoločen sistem F x = b, iz česar dobimo F T F x = (DA) T (DA)x = F T b = (DA) T (Db) Razpisano je to enako A T D Ax = A T D b (ii) Matrika C je simetrična pozitivno definitna, zato zanjo obstaja razcep Choleskega C = V T V, kjer V zgornje trikotna Izračunajmo y ( ) min Ax b C = min (Ax b) T {}}{ C(Ax b) = min (Ax b) T V T V (Ax b) x x x, uvedemo novo neznanko y = U(Ax b), dobimo min(y T y) = min x x < y, y > = min y = min V (Ax b) x x Torej iščemo to je predoločen sistem kar da min x V Ax V b, V Ax = V b /(V A) T, A T V T V Ax = A T V T V b Z upoštevanjem C = V T V dobimo A T CAx = A T Cb Naloga 65 Metoda zlatega reda je metoda za iskanje minimuma funkcije Ta metoda je podobna bisekciji za iskanje ničle funkcije Pri bisekciji potrebujemo dve točki, za kateri velja f(a)f(b) < Če hočemo, da bo funkcija imela minimum na intervalu [a, c], mora veljati f(b) f(a) in f(c) f(a) Hočemo, da bo točka b optimalno izbrana, dolžina intervalov naj bo čimbolj enaka Pri bisekciji je najboljša enakomerna izbira, kjer za naslednjo točko izberemo a+b Pri iskanju minimuma izberemo točko x in potem poiščemo trojico zaporednih, za katere velja, da je funkcijska vrednost v srednji točki manjša kot funkcijski vrednosti v ostalih Poišči kakšna je optimalna delitev intervala w = b a c a
POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ Rešitev Naj bo w = b a c a relativna dolžina intervala [a, b] glede na celoten interval [a, c] Relativna dolžina intervala [b, c] glede na [a, c] je w = c b c a Recimo, da naslednjo točko x izberemo na relativni razdalji z od b, z = x b c a Recimo, da je z V naslednjem koraku imamo dve možnosti: izberemo točke a, b, x, izberemo točke b, x, c Hočemo, da sta intervala [a, x] in [b, c] enake dolžine Veljati mora x a c b = = z(c a) + b a c b = z c a c b + b a c b = z w + w w, kar je x = a + c b in z = w Ker hočemo doseči optimalno izbiro, mora spet veljati w = b a x b x a in w = c b Iz prve enakosti ne dobimo nič novega, saj je x a = c b Iz druge enakosti in prejšnjih enačb dobimo w( w) = x b c b c b c a = x b c a = z = w Rešiti moramo kvadratno enačbo w w + = Tako dobimo w = ± 5, pozitivna rešitev manjša od je w = 5 =, 89665 Naloga 66 (i) Naj bo A R m n, kjer je m n in rang(a) = n Dokaži, da ima sistem [ m n m I A n A T ] r = x rešitev, ki ustreza rešitvi predoločenega sistema Ax = b po metodi najmanjših kvadratov (ii) Uporabi zgornji sistem pri iterativnem izboljšanju rešitve predoločenega sistema Pomagaj si s QR razcepom matrike A Algoritem 6: Iterativno izboljšanje za obrnljivo matriko B y = ; while r > eps do y = y ; rr = By b; Rešimo sistem Bd = rr; y = y d; end Rešitev (i) Poglejmo kaj mora veljati za rešitev sistema Po blokih dobimo r + Ax = b in A T r = Iz prve enačbe dobimo r = b Ax, kar vstavimo v drugo enačbo Iz tega sledi b A T (b Ax) = A T b A T Ax = A T b = A T Ax Dobili smo ravno normalni sistem (ii) Upoštevajmo bločno strukturo in zapišimo spremenljivke v bločni obliki: ] ] y = [ r x, d = [ d d
Za rr dobimo rr = l l I A r = A T x Rešiti moramo sistem I A A T d d = l l, r x = r x d d Naredimo razširjeni QR razcep matrike A = Q R {}}{ R, kjer je Q ortogonalna in R zgornje trikotna Dobimo [ ] I QR l R T Q T d d = d + QRd = l /Q T R T Q T d = l l Iščemo d in d Dobimo sistem Q T R d + d = Q T l (), R T Q T d = l (), označimo še Q T d = z z, Q T l = f f Iz prve enačbe dobimo R T z = l, ko rešimo sistem dobimo z Iz druge enačbe dobimo z R f + d z =, kar da z + R d = f R f z = f d = f z Dobimo še d A = QR; ] Q T e = [ f f z = f ; Reši sistem] R T z = l ; d = Q [ z z ; ; Rešimo sistem R d = f z ; Naloga 67 Dokaži Hadamardovo neenakost za matriko A R n n : ( n n ) det(a) a ki Pomagaj si s QR razcepom i= k=
POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ Rešitev Velja det(a) = det(qr) = ± {}}{ det(q) det(r) Ker je R zgornje trikotna matrika, je njena determinanta enaka produktu diagonalnih elementov Tako dobimo det(a) = r r r nn Naj bosta A (i) in R (i) i-ta stolpca matrik A in R, zanju velja A (i) = QR (i) Opazimo, da velja A (i) = a ki = QR (i) = R (i) = k= i r ki r ii Enakost dobimo iz dejstva, da ortogonalna matrika ohranja drugo normo Neenakosti, ki smo jih dobili zmnožimo in dobimo Hadamardovo neenakost Naloga 68 Naj bo A R m n, m n in rang(a) = n Podana je še matrika C R p n, p n, rang(c) = p Zapiši algoritem za reševanje predoločenega sistema Ax = b, pri pogoju Cx = d Q Rešitev Iščemo min Cx=d Ax b, poglejmo si oblike matrik Pomagajmo si z razširjenim [ p R n p ] razcepom matrike C T Rešujemo problem k= min Ax b = min AQQ T x b Cx=d CQQ T x=d Izračunajmo CQ = (C T ) T Q = (QR) T Q = R T Q T Q = R T = R T, uvedemo še nove neznanke Q T x = p n p y in AQ = z [R T ] min y z =d [ A [ p n p A A ] Nadaljujemo z ] y A b z = min A y + A z b R T y=d Z R T y = d je y enolično določen Torej nam predstavlja predoločeni sistem A z = b A y C T = QR; R T y = d (rešimo sistem, dobimo y); znano {}}{ min A z (b A y ) R T y=d [ p n p AQ = A A ]; min z A[ ] z (b A y) (rešimo predoločen sistem, dobimo z) ; y x = Q ; z
Givensova rotacija R ik je matrika enaka identiteti povsod razen v i-ti in k-ti vrstici in preslika i-to in k-to komponento vektorja x v vektorja y, ki ima k-to komponento enako Rik([i, T k], [i, k]) = x i x i +x x k k x i +x k x k x i +x k x i x i +x k Naloga 69 Naj bo A zgornja Hessenbergova matrika (a ik =, i > k + ) Zapiši algoritem za QR razcep s pomočjo Givensovih rotacij in z njegovo pomočjo reši sistem Ax = b Poleg tega še preštej število operacij (korenjenja, seštevanja, množenja) Matrike Q ti ni potrebno izračunati Kakšna je oblika matrike Q? Rešitev Givensova rotacija R ik spremeni samo i-to in k-to vrstico Poglejmo si primer, ko je matrika dimenzije 4: A = R T R T R T 4 for i =,, n do r = a ii + a i+,i - - n, n *, n + ; c = a ii r - - n *; s = a i+,i r - - n *; a ii = r; z = b i ; z = b i+ ; b i = cz + sz - - n *, n + ; b i+ = sz + cz - - n *, n +; for k = i +,, n do aik = a ik ; a ik = ca ik + sa i+,k - n a i+,k = s aik + ca i+,k - n end end Reši zgornje trikotni sistem Rx = b Vsota je enaka n i= Matrika Q je zgornja Hessenbergova n (n i ) *, (n i ) + ; î= i= n (n i ) *, (n i ) +; i= i= (n i ) = n k= k = (n )(n ) Naloga 6 Naj bo A nesingularna zgornje trikotna matrika dimenzije n n Podana sta še vektorja u,v R n Zapiši čim hitrejši algoritem za QR razcep matrike B = A + uv T Namig, kaj je uv T, če je u elementarni bazni vektor pomnožen s skalarjem, torej enak λe i?
4 POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ Rešitev Zadosti bo, če matriko B transformiramo v zgornjo Hessenbergovo matriko, saj lahko potem uporabimo prejšnjo nalogo Če bi bil u vektor iz namiga, bi imela matrika uv T neničelno samo i-to vrstico Za i = bi potem bila B zgornja Hessenbergova matrika (celo zgornje trikotna) Če nam uspe u transformirati z ortogonalnimi matrikami v λe, tako da bo transformirana matrika A zgornja Hessenbergova, smo problem rešili Če poizkusimo klasično, z R T uničimo element, z RT uničimo element,, z RT n uničimo n-ti element, se matrika A transformira v polno matriko Ta možnost ni dobra Izkaže se, da moramo iti od spodaj navzgor Skicirajmo to za n = 4 Ker je u u () + u RT u vt 4 + u () u () vt u 4 u () u () + u () vt RT + vt smo dobil zgornjo Hessenbergovo matriko u () vt =, R T Householderjevo zrcaljenje je matrika oblike H = I w T w wwt in predstavlja zrcaljenje prek ravnine določene z normalo w Če hočemo preslikati vektor x v ±ke, lahko to naredimo s Householderjevim zrcaljenjem določenim z w = x + sign(x ) x e Naloga 6 S Householderjevimi zrcaljenji in QR razcepom reši linearni sistem x + 6x + x = 7 x + x + x = x + x + 6x = 6 Rešitev Najprej transformiramo prvi stolpec + ( = A ) 4 w = =, w T w = 4, P = I wwt =, Izračunajmo P : k = 6 7 4 P = 4 6 6 6 9 4 = 5, w = 4 5 = 9, w T w = 9,
5 P = I 45 w w T = 5 4 4 Izračunajmo 4 4 4 5 5 4 = 5 7 4 6 9 6 6 5 5 Iz česar dobimo x =, x = 7+ 5 =, x = + 4 = Prvi stolpec je enak z = Givensova matrika uniči komponento vektorja: 5 R, T + = 5 5 5 5 5 5 5 = = z () Z matriko 5 R, T = 5 uničimo tretjo komponento z (), 5 5 5 = Naloga 6 Izračunaj QR razcep matrike A = na različne načine: s pomočjo MGS, s pomočjo Givensovih rotacij
6 POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ Rešitev Delovna različica Najprej normiramo prvi stolpec A, a = + 4 + = 6 Torej je / 6 q = a / a = / 6 / 6 in r = a = 6 V drugem koraku ortogonaliziramo drugi stolpec A a glede na q Izračunamo a = a < q, a > q Velja < q, a >= 6 Tako dobimo a = [ T [ 5/ 5/] in r = 6 Izračunamo q = a / a = / / T ] in r = a = 5/ Na koncu izračunamo še a = a < q, a > q < q, a > q Dobimo r =< q, a >=, r =< q, a >=, r = a =, a = [ 6 ] T S pomočjo Givensove rotacije R T = 5 5 5 5, uničimo element v prvem stolpcu: Z givensovo rotacijo 5 5 5 5 / 5 5 = 5 / 5 5/6 / 6 R T = / 6 5/6 uničimo element v nanovo dobljeni matriki Dobimo 5/6 / 6 5 / 5 / 6 / / + / 6 6 5 / 5 = 5 / 5 5/6 5/ / + 5/6 Uporabimo še rotacijo R T = /5 /5 /5 /5 in dobimo isto matriko kot pri MGS, matrika Q = R R R Naloga 6 Naj bo A C m n in m n Prevedi računanje singularnega razcepa matrike A = UΣV H na računanje singularnega racepa v realnem primeru Pokaži, da ima dobljeni realni sistem dvojne singualrne vrednosti
7 Rešitev Naj bosta u i in v i i-ta stolpca ortogonalnih matrik U in V Matrika σ Σ = σ n ima na diagonali (realne) singularne vrednosti σ σ σ n Potem velja Av i = UΣ V H v i }{{} e i = UΣe i = Uσ e i = σ i u i Vidimo, da velja Av = σu, kjer je u = u i, v = v i, σ = σ i Upoštevamo, da za kompleksno matriko A ter kompleksna vektorja velja: A = A + ia, u = u + iu, v = v + iv Ker je σ realna dobimo (A + ia )(v + iv ) = σ(u + iu ) (6) A v A v + i(a v + A v ) = σu + iσu A v A v = σu (realni del) A v + A v = σu (imaginarni del) Zadnji dve enačbi nam predstavljata realni bločni sistem [ n n m A A m A A ] v u = σ v u Dobljeni sistem je dvakrat večji, pokazati moramo še, da so singularne vrednosti dvojne Pomnožimo 6 z i in dobimo Torej velja (A + ia )(v + iv ) = σ(u + iu ) / ( i) A v A v + i(a v + A v ) = σu + iσu / ( i) (A v A v )i + A v + A v = iσu + σu A v + A v = σu (realni del) A v A v = σu (imaginarni del) [ n n m A A m A A Našli smo še drugi levi singularni vektor [ u u ] [ v v ] ] = σ [ u u ]
8 POGLAVJE 6 PREDOLOČENI SISTEMI, EKSTREMI FUNKCIJ Naloga 64 Dokaži, da za matriko X z najmanjšo normo X F, ki minimizira XA I n F velja X = A + Matika A je dimenzije m n, kjer je m n in rang(a) = r Rešitev Naj bo podan singularni razcep matrike A = UΣV T dimenzije m n in ranga r Tukaj sta U in V ortogonalni matriki dimenzij m m in n n Psevdoinverz matrike A je enak A + = V Σ + U T, kjer je Σ = [ r n r r S m r r n r ] [, Σ + r S = m r ] in S = diag(σ, σ,, σ r ) Lotimo se reševanja Najprej zapišemo X kot X = V DU T, potem je X F = D F in velja I {}}{ XA I F = V D U T U ΣV T V ortogonalna I F = DΣ I F Zadnji enačaj dobimo tako, da z leve pomnožimo z V T, z desne pa z V Matrika V je ortogonalna, tako se Frobeniusova norma ne spremeni Matriko D predstavimo v bločni obliki D = [ r m r r D D n r D D ] Potem je DΣ oblike r n r [ r D DΣ = S n r D S ] Če želimo, da bo DΣ I F = D S I r F + D S F + I n r F minimalna, moramo izbrati D = S in D = Radi bi tudi, da je D F = X F čim manjša, torej je očitno najbolje izbrati D = D = Velja namreč D F = D F + D F + D F + D F Dobili smo, da mora veljat D = Σ +, kar nam da X = V Σ + U T = A +
Poglavje 7 Lastne vrednosti in vektorji Naloga 7 Naj bo matrika A R n n in T njena Schurova forma Velja zveza A = QT Q H, kjer je Q ortogonalna matrika in T zgornje trikotna matrika Naj bo λ enostavna lastna vrednost matrike A S pomočjo Schurove forme izračunaj pripadajoči lastni vektor Rešitev Za lastno vrednost in lastni vektor velja: Ax = QT Q H x = λx {}}{ QT Q H x λ QQ H x = I Q(T λi)q H x = /Q H (T λi) Q H x }{{} = y T y = λy Vektor y je lastni vektor za T Lastna vrednost λ = t ii je eden izmed diagonalnih elementov T Oglejmo si obliko λ t ii y (T t ii I)y = y i = λ n t ii y n Enakost si oglejmo po blokih T λi = i n i i T λi T T T n i T λi y y = y Iz tretje bločne vrstice dobimo (T λi)y =, kar nam da y =, saj je (T λi) obrnljiva Iz druge bločne vrstice pa dobimo T y =, kar nam ne da nič novega Iz prve bločne vrstice dobimo enačbo {}}{ (T λi)y + T y + T y =, iz česar dobimo (T λi)y = T y 9
4 POGLAVJE 7 LASTNE VREDNOSTI IN VEKTORJI Ker je y skalar, lahko izberemo y = Torej je (T λ) T y = = Q H x Seveda sistem rešimo in ne računamo inverza Na koncu dobimo x = Qy Algoritem 7: Potenčna metoda y = y () začetni približek ; r = ; while premajhna natančnost do y (r+) = Ay (r) ; y (r+) = y (r+) / y (r+) normirana varianta; r = r + ; end Naloga 7 Naj bo A R n n Iščemo dominantne lastne vrednosti s potenčno metodo Dokaži, da vektorji po smeri konvergirajo k dominantni lastni vrednosti Ali lahko izluščimo lastne vektorje pripadjoče tem lastnim vrednostim? Obravnavaj naslednje primere Dominantna lastna vrednost je ena sama, λ > λ Dominantni lastni vrednosti sta dve, velja λ = λ Dominantni lastni vrednost sta dve, velja λ = λ Rešitev Primer λ > λ Naj bodo x, x,, x n pripadojoči lastni vektorji Zapišimo y () = n i= α i x i Velja y (r) = ni= α i λ r i x i Tako dobimo y (r+) k y (r) k = ni= α i λ r+ i x i(k) ni= α i λ r i x i(k) = α λ x (k) + n i= α i ( λ i λ ) r λ i x i(k) λ x (k) + n i= α i ( λ i λ ) r x i(k) Ker je λ i λ <, velja in y (r) konvergira k x po smeri Primer λ = λ Podobno kot prej dobimo y (r+) k lim r y (r) k = λ Torej velja y (r+) k y (r) k = α λ x (k) + α λ x (k) + n i= α i ( λ i λ ) r λ i x i(k) α x (k) + α x ni= (k) +α i ( λ i λ ) r x i(k) y (r+) k lim r y (r) k = λ
4 in y (r) konvergira po smeri proti α x + α x Iz tega ne moremo dobiti lastnih vektorjev Primer λ = λ V tem primeru podzaporedje z (r) = y (r) konvergira po smeri k α x + α x, faktor je λ Podzaporedje w (r) = y (r+) pa konvergira k α x α x Iz y (r) = αx + βx in y (r+) = αλ x λ βx Iz česar dobimo λ y (r) + y (r+) = αλ x λ y (r) y (r+) = βλ x Naloga 7 Gerschgorinov izrek Naj bo A C n n in C i = {z C i, z a ii n j=,j i a ij } krog v kompleksni ravnini, za i =,, n Vse lastne vrednosti matrike A ležijo v uniji krogov n i= C i Rešitev Naj bo x lastni vektor in λ pripadajoča lastna vrednost Poglejmo si enakost po vrsticah A(i, :)x = a ij x j = λx i j= Kar je ekvivalentno a ij x j = (λ a ii )x i j=,j i Uporabimo absolutno vrednost in ocenimo: n λ a ii x i = a ij x j a ij x j x a ij j=,j i j=,j i j=,j i Naj bo x k = x Če postavimo i = k dobimo, λ a kk a ij j=,j i Kar pomeni λ C k Iz tega že sledi, da vsaka lastna vrednost leži v uniji krogov Naloga 74 Naj bo A R n n diagonalno dominantna, tj Potem je A obrnljiva a ii > j=,j i a ij za vsak i Rešitev Dovolj je pokazati, da so vse lastne vrednosti različne od Fiksirajmo lastno vrednost λ Po izreku leži v vsaj enem krogu Torej velja λ a ii j=,j i Ali je lahko λ = Če bi bila, bi veljalo a ii n j=,j i a ij < a ii Kar je protislovje Matrika je res obrnljiva a ij
4 POGLAVJE 7 LASTNE VREDNOSTI IN VEKTORJI Posledica 7 Naj bo A R n n simetrična, vse lastne vrednosti so realne Vsak lastna vrednost leži v enem od intervalov [a ii a ij, a ii + a ij ] Posledica 7 Velja λ A j=,j i Dokaza posledic sta preprosta in ju prepuščam bralcu j=,j i Naloga 75 Določi območje v katerem se nahajajo lastne vrednosti matrike Uporabi Gerschgorinov izrek 4 A = 5 5 Rešitev Iz prve vrstice dobimo λ 5 Iz druge vrstice dobimo λ 5 Iz tretje vrstice dobimo λ 45 Oceno lahko izboljšamo tako, da isto oceno naredimo za podobno matriko DAD, kjer je D diagonalna matrika Simetrične matrike Algoritem 8: Rayleighova iteracija z ; z = z z ; for k =,,, do end σ k := ρ(z k, A) = zt k Az k z t k z k ; reši (A σ k I) z k+ = z k ; z k+ = z k+ z k+ - v praksi; z k+ = z k+ - za naslednjo naloga; z k+ Algoritem 9: QR iteracija z enojnim premikom A = A; for k =,,, do η k = (A k ) n,n ; A k η k I = Q k R k ; A k+ = R k Q k + η k I; end Naloga 76 Če vzamemo pri Rayleighovi iteraciji za začetni vektor z = e n, potem velja σ k = η k za vsak k
4 Rešitev Trditev bomo dokazali z indukcijo Za k = dobimo: σ = ρ(e n, A) = (e T n Ae n )/e T n e n = (A) n,n = (A ) (n,n) = (A) n,n Poiščimo še z Upoštevajmo, da je z rešitev sistema (A σ I) z = e n Iz prvega koraka QR iteracije dobimo A σ I = Q R, kar je (A σ I)Q = R T Iz tega sledi (A σ I)Q e n = R T e n = (R ) T n = e n Potem je z = Q e Velja še A = R Q +η I = Q T (A η I)Q +η I = Q T A Q = Q T AQ Naj bo naša indukcijska predpostavka σ k = η k, z k = Q Q Q k e n in A k = Q T k A k Q k Velja (A σ k I) z k+ = z k in (A k σ k I)Q k e n = Rk T e n = e n Upoštevamo še Iz (A σ k I) z k+ = z k izračunamo iz česar dobimo A = Q Q k A k Q T k Q T (Q Q k A k Q T k Q T σ k I) z k+ = Q Q k e n, Iz enakosti dobljene iz QR iteracije sklepamo (A k σ k I)Q T k Q T z k+ = e n Q T k Q T z k+ = Q k e n, kar nam da Zdaj lahko izračunamo z k+ = Q Q k e n σ k+ = ρ(z k+, A) = e T n Q T k Q AQ T Q T k }{{} A k+ e n = (A k+ ) n,n = η k+ Naloga 77 Dokaži, da je det(i + xy T ) = + y T x Rešitev Najprej povejmo elegantno rešitev Definirajmo matriki y T in x I x I Izračunamo + y AB = T x y T I in BA = [ y T + x T y ] Velja det(ab) = + y T x = det(ba) = det(i + x T y) Druga možnost je, da uporabimo operacije na vrsticah in stolpcih, ki ohranjajo determinanto x y + x y x y n I + xy T x y x y + x y n = x n y n x n y x n y n Prvo vrstico pomnožimo z x i x ter odštejemo od i-te vrstice Dobimo matriko
44 POGLAVJE 7 LASTNE VREDNOSTI IN VEKTORJI + x y x y x y n x x xn x Zdaj pomnožimo j-ti stolpec z x j x in ga prištejemo prvemo stolpcu, dobimo + n i= x i y i x y x y n S tem smo končali To izkoristimo pri reševanju sekularne enačbe Dobimo, da moramo rešiti enačbo det(d + ρuu T λi) = det((d λi)(i + ρ(d λi) uu T )), kar je ekvivalentno reševanju sekularne enačbe det(i + ρ(d λi) uu T ) = + ρ i= u i d i λ = Če je α lastna vrednost D + ρuu T, je (D αi) u ustrezni lastni vektor Naloga 78 Reševanje sekularne enačbe Iščemo ničle funkcije Njen odvod je f(λ) = + ρ f (λ) = ρ i= i= u i d i λ u i (d i λ) Za ρ > je f > in funkcija ima asimptoto Recimo, da iščemo rešitev na intervalu (d i, d i+ ), kjer je začetni približek x r Navadne tangentne metode ne moremo porabiti, saj so ničle zelo blizu polov, zato bi potrebovali zelo dober začetni približek Namesto aproksimacije funkcije s tangento raje uporabimo preprosto racionalno funkcijo, ki se prilega funkciji f na tem intervalu Poiščemo racionalno funkcijo oblike h(λ) = c d i λ + c d i+ λ + c, za katero velja h(x r ) = f(x r ) in f (x r ) = h (x r ) Zaradi stabilnosti razdelimo f na dva dela kot f(λ) = + ρ i k= u k d k λ + ρ n k=i+ u k d k λ =: + ψ (λ) + ψ (λ) To naredimo tako, da v vsoti ψ (λ) oziroma ψ (λ) seštevamo enako predznačene člene Sedaj določimo c, c tako da za h (λ) = c d i λ + c
45 velja h (x r ) = ψ (x r ) in h (x r ) = ψ (x r) Podobno določimo tudi c in c tako, da za h (λ) = c d i+ λ + c velja h (x r ) = ψ (x r ) in h (x r) = ψ (x r) Sedaj je h(λ) = + h (λ) + h (λ) iskana racionalna funkcijo Enačba h(λ) = ima dve rešitvi, za nov približek x r+ vzamemo tisto, ki leži na intervalu (d i+, d i ) Oglejmo si primer v Mathematici Naloga 79 Poišči vektor v, tako da za a b b T = bn b n a n in velja a b a k+ b k b k+ b T = b, T = k+ ak b k bn b k a k b k b n a n T T = + b T k vv T Rešitev V originalni matriki T sta se spremenili le vrstici in stolpca k in k + Veljati mora ak b k ak b = k + b b k a k+ a k+ b k zz T k Torej mora veljati z = [, ] T Tako je potem v = [ k k+ T ] Izrek 7 Courant-Fisherjev minimax izrek Za simetrično matriko A R n n velja λ k (A) = min max R R n,dim(r)=n k+ x R,x ρ(x, A) = max min S R n,dim(s)=k x S,x ρ(x, A) Izrek 7 Cauchyjev izrek o prepletanju Če je A simerična matrika in A r glavna r r podmatrika matrike A, potem velja λ r+ (A r+ ) λ r (A r ) λ r (A r+ ) λ (A r+ ) λ (A r ) λ (A r+ Naloga 7 Naj bosta A, E R n n simetrični, da velja Dokaži, da potem velja λ (A) λ (A) λ n (A) in λ (E) λ (E) λ n (E) Uporabi Courant-Fisherjev minimax izrek λ k (A) + λ n (E) λ k (A + E) λ k (A) + λ (E)
46 POGLAVJE 7 LASTNE VREDNOSTI IN VEKTORJI Rešitev Velja λ k (A) = kjer je ρ(x, A + E) = xt (A+E)x x T x Velja tudi λ k (A + E) = min max R R n,dim(r)=n k+ x R,x = ρ(x, A) + ρ(x, E) Dobimo min max R R n,dim(r)=n k+ x R,x ρ(x, A), (ρ(x, A) + ρ(x, E)) min ( max ρ(x, A) + ρ(x, E)) R R n,dim(r)=n k+ x R,x λ n (E) ρ(x, E) λ (E) Če vzamemo max ρ(x, E) po celem prostoru, dobimo kvečjemu več Torej velja λ k (A + E) λ k (A) + λ (E) Za drugi del neenakosti lahko uporabimo drugi del minimax izreka Lahko pa uporabimo pravkar dokazano neenakost za A in E To nam da λ k ( A E) = λ n k+ (A + E) λ k ( A) + λ ( E) = (λ n k+ (A) + λ n (E)) Če neenakost pomnožimo z, smo končali Naloga 7 Naj bo ρ(x, A) = xt Ax Rayleighov kvocient simetrične matrike A Dokaži, da x T x velja (i) Vrednost β = ρ(x, A) minimizira min β Ax βx (ii) Poišči λ in µ, ki minimizira min λ,µ Ax λbx µcx Vse matrike so simetrične Rešitev (i) Problem najlažje rešimo, če prepoznamo, da gre v bistvu za predoločen sistem xβ = Ax = b Tako dobimo normalni sistem x T xβ = x T Ax, kar nam že da željeno rešitev Rešitev lahko dobimo tudi z iskanjem maksimuma skalarne funkcije f(β) = Ax βx Lahko pa pokažemo tudi, da velja x Ax ρ(x, A)x (ii) Problem spet poizkusimo prevesti na reševanje predoločenega sistema Ax = λbx + µcx λ Bx Cx = Ax predoločen sistem µ (Bx) T λ (Bx) T (Cx) T Bx Cx = µ (Cx) T Ax Rešitev dobimo tako, da rešimo sistem < Bx, Bx > < Bx, Cx > λ = < Cx, Bx > < Cx, Cx > µ < Bx, Ax > < Cx, Ax >