ŠTEVCI PROMETA IN NJIHOVA UPORABA ZA NAMENE STATISTIK ČRT GRAHONJA

Velikost: px

Začni prikazovanje s strani:

Download "ŠTEVCI PROMETA IN NJIHOVA UPORABA ZA NAMENE STATISTIK ČRT GRAHONJA"

Valentina Korošec
pred 4 leti
Pregledov:

1 ŠTEVCI PROMETA IN NJIHOVA UPORABA ZA NAMENE STATISTIK ČRT GRAHONJA

2 Navdih Poizvedovanje po BD podatkovnih virih, ki imajo časovno dimenzijo in so dostopni. Večji promet pomeni večje število dobrin in močnejšo ekonomijo. Preliminarni testi s podatki BDP v tekočih cenah in prometnimi podatki. Namen: analiza uporabe podatkov pri hitrih ocenah kratkoročnih ekonomskih kazalnikov

Vir prometnih podatkov Podatke o prometu zbirajo na Ministrstvu za infrastrukturo in tudi druge institucije. Urejeni podatki so prosto dostopni z zahtevkom.

3 Vir prometnih podatkov Podatke o prometu zbirajo na Ministrstvu za infrastrukturo in tudi druge institucije. Urejeni podatki so prosto dostopni z zahtevkom. Zaradi posebnega statusa institucije SURS, lahko pridobimo tudi surove podatke Izbrane podatke smo prevzeli v tekstovni obliki: 15-minutni intervali gostote prometa na števnih mestih, zbrani med letoma 2011 in 2018.

4 Lastnosti podatkov Datoteke: Več kot 630 števcev na mesec, Skupna velikost okoli 30 GB, Vsaka datoteka vsebuje nestrukturirano glavo z metapodatki, Vsaka datoteka vsebuje celoletne podatke enega števnega mesta v 15-minutnih intervalih -> okoli vrstic mikropodatkov, Opomba: od leta 2018 naprej zbiramo urne podatke, V datoteki so lahko prisotni manjkajoči podatki (manjkajo vrstice), V datoteki so lahko prisotni manjkajoči podatki (zapolnjeni z ničlami), V datoteki so lahko prisotne napake v formatu (recimo večkratni separator, separator sredi imen spremenljivk, neenako število spremenljivk v glavi in v mikropodatkih ) Spremenljivke: Na vsakem pasu merimo 8 kategorij vozil: število motorjev (Motor-MO), število osebnih avtomobilov (Osebni-OA), število avtobusov (BUS), število lahkih tovornih vozil; <3,5 tone (La.Tov- LT), število srednjih tovornih vozil; >3,5 tone in <7 ton (Sr.Tov-ST), število težkih tovornih vozil; >7 ton (Te.Tov-TT), število tovornih vozil s priključkom (T.s Pr-TP), število vlačilcev (Vlač-TPP) V vsakem časovnem intervalu merimo dva pasova: o o na regionalnih cestah obe smeri, na avtocestah in hitrih cestah pa oba pasova v isto smer.

5 IT in metodološko delo Datoteke je bilo potrebno analizirati Datoteke smo združili po števnih mestih. Ugotovili smo, da imamo na voljo podatke 649 števnih mest, vendar le 111 s popolnimi podatki. Izločili smo števna mesta s prevelikim deležem manjkajočih podatkov: 85% ali manj prisotnih podatkov, najmanj eno celo leto brez podatkov. Na podlagi analize smo se odločili ločiti števna mesta glede na postavitev v dve kategoriji: š. m. na regionalnih in š. m. na avtocestah in hitrih cestah (izločili smo š. m. na priključkih). Postopek ponovimo z vsakimi novimi podatki Končno število uporabljenih števnih mest leta 2018: 391 na regionalnih cestah in 42 na avtocestah in hitrih cestah.

6 Programerski izzivi (1) Sestava novega razreda v jeziku Python, z definiranimi funkcijami, ki datoteko in/ali podatke: v nestrukturirani obliki preberejo, metapodatke prenesejo v strukturirano obliko, pripravijo v strukturirano tabelo, poiščejo, preštejejo in izpišejo manjkajoče podatke, združijo po števnih mestih, agregirajo na želeni časovni interval, shranijo v primerni obliki za nadaljnje delo. Funkcije s katerimi izvedemo imputacije na manjkajočih podatkih.

7 Programerski izzivi (2) Zaradi prostorskih omejitev in količine podatkov, smo morali pri programiranju uporabiti postopke za delo z masovnimi podatki: o Izkoristili smo večjedrne procesorje računalnika za hkratno izvajanje nalog, saj bi sicer postopek trajal predolgo. o Podatke vsakega števnega mesta smo shranili posebej, saj take količine podatkov ne moremo združevati v eno samo datoteko v spominu računalnika.

8 Uporabljene metode za vstavljanje manjkajočih podatkov Manjkajoče podatke, ki so ostali v izbranih podatkih, smo imputirali z metodami, ki temeljijo na letnih rasteh sosednjih števnih mest. Imputacije so potekale na agregiranih mesečnih podatkih. Podatke smo poskušali imputirati na štiri načine; najboljši je bil tretji: imp 3 d k m,t g k m,t = s k K s k Z d s K s k K s k Z d s K g k m,t l g sk m,t m,t l g sk g k m,t l 1 d k m,t 1 d k m,t + d k m,t g k m,t, g sk m,t l 0 s k K s k Z d s K + d k m,t g k m,t ; d k m,t l = 1, d k m,t g k m,t ; sicer. Testi za natančnost so pokazali, da imajo popolnoma imputirana obdobja izjemno manjhen vpliv na pravo vrednost v neki podskupini podatkov števnih mest (ena imputacija izmed 60 vrednosti znaša manj kot 1% spremembo v vrednosti). Končni rezultati: Skupno 2,4% manjkajočih podatkov na 15-minutni ravni (2,3% na reg. In 3,1% na avtocestah), Skupno 1403 imputiranih mesečnih vrednosti (izmed skupno mesečnih vrednosti), Skupno 1,028 faktor povečanja celotnega prometa (1,023 na reg. In 1,04 na avtocestah), V povprečju 2,25% letno povečanje na reg. In 4,11% letno povečanje na

9 Hitre ocene BDP Mesečno urejene in imputirane podatke smo uporabili za hitro ocenjevanje BDP (ang. nowcasting), pri čemer smo uporabili metodo linearne regresije s PCA. Pri primerjanju napak med ocenami in objavljenimi vrednostmi BDP so rezultati z vključitvijo prometnih podatkov tudi dvakrat bolj natančni kot brez njih! Podobna izboljšanja opazimo tudi ob primerjavi s podobnimi modeli (klima). Izbrani način dela: iz trenutnih podatkov sestavimo različne modele, in za ocenjevanje izberemo tistega, ki ima najboljše mere kakovosti: povprečje napak, absolutne napake, relativne napake, RMSE,

10 Obdobje Uradne vrednosti BDP (v MIO ) 2017Q1 9395,2 2017Q , Q ,3 2017Q ,5 PCA metoda Ocene brez dodatnih regresorjev Ocene s podatki prometa kot dodatnimi regresorji Relativne napake prvega (v %) Relativne napake drugega (v %) 75% 9355, ,24 0,43 0,83 80% 9419, ,23 0,26 0,63 85% 9285, ,57 1,16 0,95 90% 9133, ,57 2,79 1,27 zadnja5 9300, ,46 1,01 0,92 75% 10137, ,58 0,59 0,92 80% 10201, ,33 0,04 0,78 85% 10111, ,06 0,84 1,00 90% 10130, ,25 0,66 0,19 zadnja , ,39 0,15 0,50 75% 10151, ,05 0,36 1,08 80% 10164, ,33 0,22 1,39 85% 10148, ,64 0,38 1,81 90% 10152, ,86 0,34 3,13 zadnja , ,61 0,85 1,57 75% 10110, ,35 1,51 0,40 80% 10065, ,57 1,95 1,62 85% 10346, ,13 0,79 2,61 90% 10188, ,04 0,75 0,33 zadnja , ,28 0,12 0,72

11 Obdobje Uradne vrednosti BDP (v MIO ) 2018Q1 9844,9 2018Q ,0 2018Q ,9 2018Q ,7 PCA metoda Ocene brez dodatnih regresorjev Ocene s podatki prometa kot dodatnimi regresorji Relativne napake prvega (v %) Relativne napake drugega (v %) 70% 9951, ,435 1,09 0,07 75% 9995, ,206 1,53 0,46 80% 10054, ,494 2,13 0,89 85% 9803, ,534 0,43 0,82 90% 9836, ,301 0,08 1,57 zadnja5 9846, ,479 0,02 0,77 70% 10573, ,59 0,20 0,40 75% 10623, ,49 0,28 1,23 80% 10564, ,17 0,28 0,80 85% 10481, ,07 1,06 0,59 90% 10644, ,5 0,48 0,72 zadnja , ,29 0,12 0,85 70% 10514, ,19 1,16 0,82 75% 10499, ,77 1,31 0,82 80% 10455, ,85 1,71 1,36 85% 10516, ,17 1,14 1,26 90% 10523, ,72 1,08 1,21 zadnja , ,92 1,85 1,06 70% 10602, ,71 0,84 1,79 75% 10596, ,56 0,90 2,50 80% 10699, ,01 0,07 1,73 85% 10534, ,87 1,48 1,79 90% 10784, ,09 0,86 0,66

12 Ostale težave in načrti v prihodnosti Problem revizij uradnih ocen in izbira prave časovnice napovednih podatkov Izbira najboljše kombinacije modela za napovedovanje Uporaba drugih vrst in kombinacij modelov: Izbira glavnih komponent z odločitvenimi drevesi, nevronske mreže Izboljšanje samega modela za ocenjevanja BDP (druga izbira metod, dodatne mere kakovosti, izbira ustreznejših mer kakovosti ) Delo na komponentah računa za BDP Delo z rastmi BDP in ustrezno pripravljenimi regresorji

13 Graf napovedi uradne ocene BDP z različnimi podatkovnimi viri

14 Hitre ocene mesečnih indeksov industrijske proizvodnje Nadaljevanje analiz z delom na mesečnih indeksih industrijske proizvodnje. Podatki IND/PNM so uporabljeni pri izračunavanju BDP. Zaradi daljše časovne serije indeksov, smo izboljšali izbiro optimalnega modela. Ocenjevanje manjkajočih komponent za izračun BDP (nowcasting posamezne komponente)

15 Testiranje procesa na podobnih podatkih Zaradi kratke časovne vrste, BDP ni najboljša testna množica. Indeks industrijske proizvodnje (IIP) dobro korelira z BDP Poskusimo izračunati hitro oceno na IIP

16 par(bg = 'blue') par(bg = 'blue') par(bg = 'blue') par(bg = 'blue') par(bg = 'blue') Rezultati dela na indeksih industrijske proizvodnje (1) Original IPI value and estimations using PCA parameter 80 Original IPI value and estimations using PCA parameter 80 Value Original NePromet RegCarg_SEP AllCarg RegTot_only Value Original NePromet RegCarg_SEP AllCarg AllTot_only 2016M M M M M M M M M M M M M M12 Quarter Quarter

17 Rezultati dela na indeksih industrijske proizvodnje (2) RMSFE PCA krit. = 80 PCA krit. = 90 Leto Indu strija Ind. + promet Ind., promet Promet Indu strij a Ind. + promet Ind., promet Promet ,70 2,25 2,84 3,48 5,63 4,45 5,97 2, ,27 2,03 3,28 3,61 3,23 3,58 3,11 3, Tudi ta eksperiment kaže, da prometni podatki izboljšajo ocene! Vsako leto optimalni model izbiramo na podlagi RMSFE! Ocene so manj natančne v primerjavi z BDP, vendar so rezultati dela optimistični!

Podobni dokumenti

2

LETNO POROČILO O KAKOVOSTI ZA RAZISKOVANJE ČETRTLETNO STATISTIČNO RAZISKOVANJE O ELEKTRONSKIH KOMUNIKACIJSKIH STORITVAH (KO-TEL/ČL) IN LETNO STATISTIČNO RAZISKOVANJE O ELEKTRONSKIH KOMUNIKACIJSKIH STORITVAH