2. Model multiple regresije

Transkripcija

1 2. Model multiple regresije doc. dr. Miroslav Verbič Ljubljana, februar 2014

2 2.1 Populacijski regresijski model in regresijski model vzorčnih podatkov

3 Modeli in spremenljivke 2/77

4 Označevanje spremenljivk 3/77

5 Populacijski regresijski model 4/77

6 Populacijski regresijski model 5/77

7 Populacijski regresijski model Razlogi za vključevanje u i : Najprej je to nadomestilo za vse tiste spremenljivke, ki vplivajo na odvisno spremenljivko, pa niso vključene med pojasnjevalne spremenljivke (navedimo jih nekaj za naš primer). Pogosto je temu vzrok tudi pomanjkljiva ali nedorečena ekonomska teorija. Tudi če so nekatere spremenljivke sprejete in spoznane kot pomembne pojasnjevalne spremenljivke, jih pri specifikaciji modela ne moremo upoštevati, ker jih je težko številčno izraziti ali pa zanje dobiti podatke (npr. okus ali navade; v našem primeru denimo idiosinkratično znanje"). Če obstaja velika verjetnost, da je skupni učinek večine zanemarjenih pojasnjevalnih spremenljivk majhen in nepomemben in predvsem nesistematičen, potem lahko te vplive obravnavamo kot naključne in tedaj moramo v model vključiti spremenljivko u. 6/77

8 Populacijski regresijski model Tudi če bi uspeli pri specifikaciji modela upoštevati vse relevantne pojasnjevalne spremenljivke, bi še vedno ostali določeni naključni elementi (lahko rečemo pravi slučajni vplivi) pri vrednostih odvisne spremenljivke. Čeprav klasični regresijski model predpostavlja, da so vrednosti spremenljivk izmerjene oziroma ugotovljene brez napak, v praksi pogosto to ne velja. Pri specifikaciji regresijskega modela naj bi se držali znanega pravila, ki pravi, da naj ima preprostejši model vedno prednost pred zapletenejšim vse dotlej, dokler se ne dokaže, da je zaradi tega neustrezen (t.i. načelo Occamove britve). 7/77

9 Populacijski regresijski model 8/77

10 Populacijski regresijski model 9/77

11 Vzorčni regresijski model 10/77

12 Vzorčni regresijski model 11/77

13 2.2 Ocenjevanje populacijskega regresijskega modela in metoda najmanjših kvadratov

14 Motivacija 13/77

15 Ocenjevanje PRM 14/77

16 Ocenjevanje PRM 15/77

17 Ocenjevanje PRM 16/77

18 Metoda najmanjših kvadratov 17/77

19 Metoda najmanjših kvadratov 18/77

20 Metoda najmanjših kvadratov 19/77

21 Značilnosti metode najmanjših kvadratov 20/77

22 Grafična ponazoritev MNKVD 21/77

23 2.3 Predpostavke metode najmanjših kvadratov

24 1. predpostavka PRM Linearnost regresijskega modela: y i = β 1 + β 2 x i + u i 23/77

25 2. predpostavka PRM Fiksne (nestohastične) vrednosti pojasnjevalnih spremenljivk pri ponovitvah vzorcev: POGOJNA REGRESIJSKA ANALIZA 24/77

26 3. predpostavka PRM Ničelna povprečna vrednost u i : Eu ( x,..., x ) = 0 ali na kratko Eu ( ) = 0; i 2i ki i v tem primeru velja: E( y x,..., x ) = β + β x β x. i 2i ki 1 2 2i k ki 25/77

27 3. predpostavka PRM 26/77

28 4. predpostavka PRM 27/77

29 4. predpostavka PRM 28/77

30 5. predpostavka PRM Odsotnost avtokorelacije: Cov( u, u x, x ) = 0; i j i j i j 29/77

31 5. predpostavka PRM 30/77

32 6. predpostavka PRM Nekoreliranost med pojasnjevalnimi spremenljivkami in slučajno spremenljivko u: Cov( x, u) = Cov( x, u) =... = Cov( x, u) = k 31/77

33 7. predpostavka PRM Število opazovanj mora presegati število ocenjenih parametrov oziroma pojasnjevalnih spremenljivk: n > k 32/77

34 8. predpostavka PRM Variabilnost vrednosti pojasnjevalnih spremenljivk: var(x) je končno pozitivno število 33/77

35 9. predpostavka PRM Regresijski model je pravilno specificiran: vključene vse relevantne pojasnjevalne spremenljivke izbrana ustrezna funkcijska oblika modela 34/77

36 9. predpostavka PRM 35/77

37 9. predpostavka PRM 36/77

38 10. predpostavka PRM Odsotnost popolne multikolinearnosti: med pojasnjevalnimi spremenljivkami ne obstaja popolna linearna odvisnost oblike: λ x λ x + + x = λ k k 37/77

39 10. predpostavka PRM 38/77

40 Operacionalizacija PRM 39/77

41 2.4 Vzorčne značilnosti in lastnosti metode najmanjših kvadratov

42 Motivacija Z metodo najmanjših kvadratov dobljene ocene regresijskih koeficientov so slučajne spremenljivke. Kako ugotoviti njihovo povprečno vrednost, varianco, kovariance in verjetnostno porazdelitev? Metoda najmanjših kvadratov je le ena od možnih cenilk regresijskih koeficientov. Kako dobra je izbrana cenilka v primerjavi z ostalimi možnimi metodami? Kako je z zanesljivostjo ocen regresijskih koeficientov? Kako dobre so ocene, ki smo jih dobili na podlagi le enega vzorca? 41/77

43 Vzorčne značilnosti MNKVD 42/77

44 Vzorčne značilnosti MNKVD 43/77

45 Vzorčne značilnosti MNKVD 44/77

46 Vzorčne značilnosti MNKVD 45/77

47 Vzorčne značilnosti MNKVD 46/77

48 Gauss Markov teorem 47/77

49 Monte Carlo eksperimenti 48/77

50 Monte Carlo eksperimenti 49/77

51 Cenilka variance slučajne spremenljivke u 50/77

52 Cenilka var-cov matrike b 51/77

53 Porazdelitev ocen regr. koeficientov 52/77

54 Porazdelitev ocen regr. koeficientov 53/77

55 Porazdelitev ocen regr. koeficientov 54/77

56 Porazdelitev ocen regr. koeficientov 55/77

57 2.5 Mere primernosti oziroma zanesljivosti regresijskega modela

58 Standardna napaka ocene regresije 57/77

59 Analiza variance (ANOVA) Dekompozicija vsote kvadratov (VK) [angl. sum of squares SS]: SVK = PVK + NVK ( ) n 2 n i= 1 i i= 1 i yy SVK = y y = y ny = ny n ( ) 2 n 2 PVK = y ˆˆ i y = yi ny = yy ny i= 1 i= 1 PVK = bxy ny = yxb ny n ( ) 2 n 2 NVK = y ˆˆ i yi = e i = ee= yy yy i= 1 i= 1 58/77

60 Determinacijski koeficient 59/77

61 Determinacijski koeficient 60/77

62 Determinacijski koeficient Slabosti determinacijskega in popravljenega determinacijskega koeficienta: visoka vrednost determinacijskega koeficienta še ne pomeni, da smo v model vključili prave pojasnjevalne spremenljivke; vrednosti determinacijskih koeficientov niso primerljive med modeli z različno definirano odvisno spremenljivko; vrednosti determinacijskih koeficientov so v splošnem večje pri modelih časovnih vrst kot pri modelih presečnih podatkov; nizka vrednost determinacijskega koeficienta ne pomeni, da model ne vključuje pravih, pomembnih pojasnjevalnih spremenljivk. 61/77

63 Testiranje modela kot celote Testiranje statistične značilnosti regresijskega modela kot celote: R. A. Fisher je leta ugotovil, da se razmerje med pojasnjeno in nepojasnjeno varianco, ob upoštevanju stopinj prostosti, porazdeljuje v posebni porazdelitvi, po njem imenovani F porazdelitvi. 62/77

64 Testiranje modela kot celote 63/77

65 Testiranje modela kot celote 64/77

66 Testiranje modela kot celote 65/77

67 Funkcija verjetja in informacijski kriteriji 66/77

68 2.6 Razlaga regresijskih koeficientov

69 Predstavitev rezultatov ocenjevanja 68/77

70 Izpis rezultatov v programskem paketu Izpis rezultatov ocenjevanja regresijskega modela linearne produkcijske funkcije. regress q l k Source SS df MS Number of obs = F( 2, 78) = Model e e+12 Prob > F = Residual e e+10 R-squared = Adj R-squared = Total e e+11 Root MSE = 2.6e q Coef. Std. Err. t P> t [95% Conf. Interval] l k _cons /77

71 Izpis rezultatov v programskem paketu Izpis rezultatov ocenjevanja regresijskega modela linearizirane Cobb-Douglasove produkcijske funkcije. regress lq ll lk Source SS df MS Number of obs = F( 2, 78) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lq Coef. Std. Err. t P> t [95% Conf. Interval] ll lk _cons /77

72 Definicija regresijskega koeficienta 71/77

73 Definicija regresijskega koeficienta 72/77

74 Dekompozicija skupnih vplivov 73/77

75 Dekompozicija skupnih vplivov 74/77

76 Frisch Waugh ( Lovell) teorem 75/77

77 Frisch Waugh ( Lovell) teorem 76/77

78 Frisch Waugh ( Lovell) teorem 77/77

79 2. Model multiple regresije doc. dr. Miroslav Verbič Ljubljana, februar 2014