Ime in priimek: Vpisna št: FAKULEA ZA MAEMAIKO IN FIZIKO Oddelek za matematiko Statistika Pisni izpit 6 julij 2018 Navodila Pazljivo preberite besedilo naloge, preden se lotite reševanja Za pozitiven rezultat morate zbrati vsaj 45 točk od 100 možnih Veliko uspeha! Naloga a b c d 1 2 3 4 Skupaj REˇSIVE
1 25 Pogojno varianco vektorja Y glede na vektor definiramo kot vary 1 covy 1, Y 2 covy 1, Y n var Y = covy n, Y 1 covy n, Y 2 vary n Naj bosta, Y slučajna vektorja in naj za ρ 1, 1 velja µ1 I ρi N, Y ν1 ρi I Za pare 1, Y 1,, n, Y n to pomeni, da so neodvisni in porazdeljeni dvorazsežno normalno z E k = µ, EY k = ν, var k = vary k = 1 ter cov k, Y k = ρ za k = 1, 2,, n in ρ 1, 1 a 5 Pokažite, da v splošnem velja varay = A vary A za vsako slučajno matriko A primernih dimenzij, ki je odvisna le od Rešitev: Formulo izpeljemo na enak način kot sorodno nepogojno formulo, pri čemer upoštevamo linearnost pogojne pričakovane vrednosti Najprej izpeljemo, da za vsako slučajno matriko B primernih dimenzij velja EAB = A EB Za ta namen označimo A 11 A 1n B 11 B 1p A =, B =, A m1 A mn B n1 B np C 11 C 1p C = AB = C m1 C mp Velja C ik = n j=1 A ijb jk Iz linearnosti pogojne pričakovane vrednosti in dejstva, da so slučajne spremenljivke A ij odvisne le od, dobimo EC ik = EA ij B jk = j=1 A ij EB jk j=1 Leva stran je natančno element, ki je v i-ti vrstici in k-tem stolpcu slučajne matrike EC = EAB, desna stran pa je natančno element, ki je v i-ti vrstici in k-tem stolpcu slučajne matrike A EB Formula sledi 2
Ustrezna enakost velja tudi za množenje z A z desne strani, saj je [ A EMA = E M ] = [E A M ] = [A E M ] = EM A Končno lahko izpeljemo zahtevano formulo: velja varay = E AY AY EAY EAY = E AY Y A EAY EAY = A EY Y A A EY A EY = A EY Y A A EY EY A = A EY Y EY EY A = A vary A b 5 Izračunajte vary k 1,, n in covy k, Y l 1,, n za k l Rešitev: Po formulah za večrazsežno normalno porazdelitev je Y =x N ν1 + ρ x µ1, 1 ρ 2 I Iz tega preberemo vary k 1,, n = 1 ρ 2 in covy k, Y l 1,, n = 0 c 10 Naj bo = 1 n n k in Ȳ = 1 n n Y k Naj bo R = 1 n k Y k Ȳ Izračunajte ER 1,, n in varr 1,, n Namig: zapišete lahko z idempotentno matriko R = 1 n HY H = I 1 n 11 Rešitev: 3
Prvi način: z uporabo namiga Iz prejšnje točke razberemo EY = ν ρµ1 + ρ Z uporabo prvega koraka pri rešitvi točke a in upoštevajoč, da je H1 = 0, izračunamo ER = 1 n H EY = ρ n H = ρ k n 2 Nadalje je varr 1,, n = 1 n 2 H var Y H = 1 ρ2 n 2 = 1 ρ2 n 2 H k 2 Drugi način: po komponentah Iz prejšnje točke razberemo Z uporabo linearnosti dobimo torej Sledi kar je isto kot prej EY k 1,, n = ν + ρ k µ EȲ 1,, n = ν + ρ µ, EY k Ȳ 1,, n = ρ k, ER 1,, n = ρ n k 2, Za izračun variance pa opazimo, da je R = n k Y k Upoštevajoč, da so Y 1,, Y n pogojno nekorelirane, dobimo varr 1,, n = 1 n 2 kar je spet isto kot prej d 5 Izračunajte varr Rešitev: Uporabimo formulo k 2 vary k 1,, n = = 1 ρ2 n 2 k 2, varr = E [ varr ] + var [ ER ] 4
in dejstvo, da je k 2 χ 2 n 1 Iz pričakovane vrednosti porazdelitve hi kvadrat dobimo iz variance te porazdelitve pa E [ varr ] = 1 ρ2 n 2 n 1, var [ ER ] = ρ2 2n 1 n2 Sledi varr = 1 + ρ2 n 1 n 2 5
2 25 Privzemite, da vsaki enoti v populaciji velikosti N pripadata dve vrednosti statističnih spremenljivk in Y Označite vrednosti z x 1, y 1,, x N, y N Privzemite, da sta populacijsko povprečje in populacijska varianca spremenljivke znani, ter ju označite z µ in σ 2 Iz populacije izberemo enostavni slučajni vzorec velikosti n Označite vrednosti spremenljivk za vzorčne enote z 1, Y 1,, n, Y n Iz zgoraj povedanega izhaja, da je E k = µ in var k = σ 2 za k = 1, 2,, n a 10 Označite c = cov 1, Y 1 Izračunajte cov k, Y l za k l Namig: kaj je cov k, Y 1 + Y 2 + + Y N? Rešitev: Zaradi simetrije so kovariance cov k, Y l enake za vse k l Kovarianca v namigu je 0, ker je druga vsota konstanta Iz bilinearnosti za kovariance sledi cov k, Y k + N 1 cov k, Y l = 0, torej cov k, Y l = c N 1 b 10 Privzemite, da je kovarianca c = cov 1, Y 1 znana Oceniti želimo populacijsko povprečje µ Y spremenljivke Y Predlagana je naslednja cenilka: Ỹ = Ȳ c σ µ 2 Pokažite, da je cenilka nepristranska, in izračunajte njeno varianco Rešitev: Nepristanskost sledi iz nepristranskosti cenilk in pričakovane vrednosti Računamo Ȳ ter linearnosti varỹ c2 = varȳ + var σ 2c covȳ 4 σ, 2 = σ2 Y n N n N 1 + c2 σ2 σ 4 n N n N 1 2c n 2 σ 2 = N n N 1 1 n σ 2Y c2 σ 2 nc n 2 n c N 1 c 5 Privzemite, da je c = cov 1, Y 1 znana Je cenilka Ỹ vedno boljša od cenilke Ȳ? Utemeljite odgovor Rešitev: Obe cenilki sta nepristranski, tako da lahko primerjamo njuni varianci Varianca cenilke Ỹ je očitno vedno manjša ali enaka, enakost pa velja natanko tedaj, ko je c = 0 6
3 25 Opazimo vrednosti x 1, y 1, x 2, y 2,, x n, y n, ki so vse neodvisne realizacije enorazsežne normalne porazdelitve Za k = 1, 2,, n vrednosti x k in y k izhajata iz Nµ k, σ 2 Za različne k so torej pričakovane vrednosti lahko različne, medtem ko morajo biti vse variance enake a 10 Poiščite cenilke parametrov µ 1,, µ n in σ po metodi največjega verjetja Rešitev: Logaritemska funkcija verjetja je lµ 1,, µ n, σ x 1,, x n, y 1,, y n x k µ k 2 + y k µ k 2 = 2n log σ n log2π 2σ 2 in parcialni odvodi so l µ i = 2µ k x k y k σ 2, l σ = 2n σ + x k µ k 2 + y k µ k 2 σ 3 Izenačimo z nič in po krajšem računu dobimo cenilke ˆµ k = x k + y k 2, ˆσ = [ 1 4n ] 1/2 x k y k 2 b 10 Katere od cenilk za µ 1,, µ k in σ 2 ne σ po metodi največjega verjetja so nepristranske? Morebitne pristranske popravite tako, da bodo nepristranske Rešitev: Če opažene vrednosti x 1,, x n, y 1,, y k nadomestimo z ustreznimi slučajnimi spremenljivkami 1,, n, Y 1,, Y k, velja E k = EY k = µ k, torej je tudi Eˆµ k = µ k Cenilke za µ k so torej nepristranske Cenilka za σ 2 po metodi največjega verjetja je seveda ˆσ 2 = 1 4n x k y k 2 Ker je k Y k N0, 2σ 2, je E [ k Y k 2] = var k Y k = 2σ 2, torej je Eˆσ 2 = σ 2 /2 Cenilka za σ 2 je torej pristranska in ni niti asimptotično nepristranska kar pomeni, da niti dosledna ni Lahko pa jo popravimo v nepristransko cenilko σ 2 = 1 x k y k 2 2n c 5 Izračunajte variance vseh nepristranskih cenilk iz prejšnje točke Namig: varianca kvadrata standardne normalne slučajne spremenljivke je enaka 2 7
Rešitev: Velja varˆµ k = var k + vary k 4 = σ2 2 Nadalje iz namiga sklepamo, da je var [ k Y k 2] = 8σ 4, od koder dobimo var σ 2 = 2σ4 n Ko gre n proti neskončno, gre to gre proti nič, kar pomeni, da je σ 2 dosledna cenilka za σ 2 o velja tudi za σ kot cenilko za σ 8
4 25 Predpostavite, da je pravi regresijski model Y = β + ɛ za Eɛ = 0 in varɛ = σ 2 I Privzemite, da je matrika dimenzij n m z m < n in s polnim rangom Označite z ˆβ cenilko β po metodi najmanjših kvadratov Kot znano privzemite lemo za inverz bločne matrike: če je matrika oblike Σ11 Σ 12, Σ 21 Σ 22 je levi zgornji kot inverza enak Σ 11 = Σ 1 11 + Σ 1 11 Σ 12 Σ22 Σ 21 Σ 1 11 Σ 12 1 Σ21 Σ 1 11, spodnji desni kot pa Σ 22 = Σ 22 Σ 21 Σ 1 11 Σ 12 1 a 10 Privzemite, da pri modeliranju pozabimo del neodvisnih spremenljivk Privzamemo torej, da so opazovane vrednosti nastale v skladu z napačno enačbo Y = 1 β 1 + ɛ, kjer je = [ 1 ; 2 ] ter še Eɛ = 0 in varɛ = σ 2 I Pišimo β = β1 β 2 V skladu z napačnim modelom ocenimo β 1 z ˆβ 1 = 1 1 1 1 Y Naj bo ˆβ 1 najboljša linearna nepristranska cenilka za β 1 v pravilnem modelu Pokažite, da je var ˆβ 1 var ˆβ 1 = σ 2 AB 1 A, kjer je A = 1 1 1 1 2 in B = 2 2 2 1 A Rešitev: Pri izračunu variance natančneje, kovariančne matrike cenilke β 1 moramo upoštevati pravi model Y = β + ɛ = 1 β 1 + 2 β 2 + ɛ, torej ˆβ 1 = 1 1 1 1 1 β 1 + 2 β 2 + ɛ Ker je 1 β 1 + 2 β 2 modeliran kot determinističen čeprav neznan vektor, ga lahko pri izračunu variance zanemarimo Velja torej var ˆβ 1 = 1 1 1 1 1 varɛ 1 1 1 Upoštevajoč, da je varɛ = σ 2 I, po krajšem računu dobimo var ˆβ 1 = σ 2 1 1 1 9
Za izračun variance najboljše linearne nepristranske cenilke v pravem modelu pa lahko porabimo teorijo linearne regresije: to je levi zgornji blok matrike σ 2 1 Velja = 1 2 1 2 = 1 1 1 2 2 1 2 2 Vstavimo v formulo za inverz bločne matrike in dobimo var [ ˆβ1 = σ 2 1 1 1 + 1 1 1 1 2 ] 2 2 2 1 1 1 1 1 1 1 2 2 1 1 1 Primerjamo z definicijama matrik A in B in vidimo, da je to res enako 1 1 1 + AB 1 A b 15 Utemeljite, da je matrika AB 1 A pozitivno semi-definitna, kar pomeni, da ima lahko ˆβ 1 manjšo varianco kot ˆβ 1 Zakaj to ni v nasprotju z izrekom Gauss Markova? Namig: če je C pozitivno definitna, je tudi C 1 pozitivno definitna Poleg tega je tudi vsak minor pozitivno definitne matrike pozitivno definiten Rešitev: Ker je AB 1 A u, u = B 1 A u, A u, je dovolj dokazati, da je matrika B 1 pozitivno definitna Slednja pa se po namigu ujema s spodnjim desnim blokom, torej minorjem matrike 1 Ker je pozitivno definitna, to velja tudi za njen inverz in njen minor Po izreku Gauss Markova ima ˆβ 1 najmanjšo varianco med vsemi linearnimi nepristranskimi cenilkami za β 1 Cenilka ˆβ 1 ima lahko manjšo varianco, ker je lahko pristranska Velja namreč E ˆβ 1 = 1 1 1 1 1 β 1 + 2 β 2 = β1 + 1 1 1 1 2 β 2 10