Eksperimentalno modeliranje Se imenuje tudi: y = f x; β + ε - system identification, - statistical modeling, - parametric modeling, - nonparametric modeling, - machine learning, - empiric modeling - itd. y = f x; β y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip + ε i y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip Enačbe: ko v enačbah nastopajo ε ali ε i, imamo v mislih merjenje, sicer pa model. Slika: levo - vhodne spremenljivke x v sredini - parametri modela β desno - torta Eksperimentalno modeliranje
- načrtovanje eksperimenta (data) - merjenje, zajemanje podatkov (data) - predobdelava podatkov (data) - tvorba modela (select model, modeling in characterisation) - validacija modela (varification /validation) - modeliranje in uporaba (applications) Z eksperimentalnim modeliranjem želimo s (predvsem) statističnimi metodami na podlagi izmerjenih vhodnih in izhodnih podatkov sistema določiti matematični model sistema. Uporaba: strojništvo, biologija, meteorologija, ekonomija, : - modeliranje potiska letalskega motorja pri danem dotoku goriva - modeliranje časa sušenja blata glede na dovedeno energijo - modeliranje časa pomešanja glede na dovedeno moč mešalu Eksperimentalno modeliranje
- sistemov iz realnega sveta pogosto ni mogoče opisati zgolj z enim modelom, posamezen model je uporaben za izbrano spremenljivko ali način delovanja sistema - eksperimentalno modeliranje se ne uporablja zgolj za dinamske sisteme, procesni in energetski sistemi so zaradi kompleksnosti pogosti - bela škatla: iz prvih principov, npr. fizikalnih enačb (npr. Newtonovih enačb) - siva škatla: model ima veliko parametrov, ki jih v teku eksperimentalnega modeliranja določamo, temelji pa v delu na fizikalnih enačbah - črna škatla: pred eksperimentalnim modeliranjem nimamo pojma, kako deluje sistem Pri sivih škatlah predpostavimo enačbe (obnašanje sistema) in prilegamo parametre. Eksperimentalno modeliranje
Merjenje, zajemanje podatkov - ni tako zelo preprosto, kot se zdi čeprav je izjemno pomembno, saj iz zajemanja podatkov sledi izdelava, validacija in uporaba modela - predhodno poglavje o merilnih postajah, je že zelo komplicirano, pa je samo podsklop zajemanja - za modeliranje in validacijo modela zajamemo dve množici podatkov, ali pa jih razbijemo v dva dela - dizajn eksperimenta - že v tej fazi je potrebno poznati sistem - tudi spremenljivke, ki jih ne moremo upravljati, npr. v sušilnem stroju se zavozlja perilo vs. Eksperimentalno modeliranje
Načrtovanje eksperimentov - angleško ime DOE, Design of experiments - prilegali smo parametre β funkcije f y = f x; β + ε - če predpostavimo množico 100 izmerkov, uporabimo metodo najmanjših kvadratov za določanje koeficientov β, potem kaj dosti vpliva na model nimamo... - za dano množico izmerkov x, y ne moremo ničesar izboljšati - lahko pa spremenimo izbiro točk x,! - pogosto imamo možnost sami izbirati neodvisne spremenljivke Najpomembnejši princip načrtovanja eksperimentov je, da izberemo vrednosti neodvisnih spremenljivk x, tako, da so odvisne spremenljivke y take, da je model dober. Dober model? To pomeni, da so koeficienti modela ustrezni na način, da je varianca σ 2 majhna. Standardni odklon iziroma standardna deviacija je σ. σ 2 = n i=1 x i x 2 n Načrtovanje eksperimentov
... Dober model? To pomeni, da so koeficienti modela ustrezni na način, da je varianca modela majhna. - npr. za preprosto prileganje/fitanje lahko po LSM določimo optimalne parametre za množico izmerkov x, toda morda obstaja izbira spremenljivk x, ki da boljše ujemanje z drugimi parametri. Neujemanje množice modelirane spremenljivke y lahko zmanjšamo. Imamo 5 možnih izbir vrednosti x, če imamo 10 izmerkov (pa še kakšna bi se našla): 1) ekvidistantno 2) 5 dvojnih izmerkov ekvidistantno 3) 5 vrednosti na levi in 5 na desni 4) 1 vrednost na levi, 8 v sredini in 1 na desni 5) 4 vrednosti na levi, 2 na sredini in 2 na desni Za vsako od gornjih izbir izmerimo vrednosti y. 1 Izkaže se, da je varianca parametrov za linearni model Var β 1 α n Najprimernejši je matematično tip 3, ker i=1 x i x maksimizira imenovalec. Za linearni model je najslabša četrta možnost, pa še za kakšen drug model tudi. Načrtovanje eksperimentov
najprimernejši so: - tip 3, če je model linearen - tip 5, če je model kvadratičen - tip 2, če je model četrtega reda - tip 1, če je model petega reda ali višji - za tip 4 ne vem 1) ekvidistantno 2) 5 dvojnih izmerkov ekvidistantno 3) 5 vrednosti na levi in 5 na desni 4) 1 vrednost na levi, 8 v sredini in 1 na desni 5) 4 vrednosti na levi, 2 na sredini in 2 na desni Načrtovanje eksperimentov
Osnovna pravila eksperimentalnega modeliranja, ki se tičejo DOF: 1) primerne lastnosti modela in rezervnega modela (scenarij B) 2) minimalna varianca koeficientov 3) meri tam, kjer moraš 4) ponavljanje 5) randomizacija Add.1) Primerne lastnosti modela so, da dobro določi koeficiente modela, da npr. lahko modelira podatke 4. reda (npr. je polinom 4. reda) ali pa da je dovolj robusten (npr. 1. reda) ali da ima asimptoto ali pa kaj četrtega. Pomisli tudi na scenarij B, to je drug model, npr. racionalna funkcija. Add.2) Pri minimalni varianci moramo zagotoviti, da jo bomo lahko izračunali, pri modelih, kjer je x vektor, to ni vedno samoumevno. Izraz za varianco je zapleten za vektorske x, varianca je matrika. y = f x; β + ε Add.3) Meri tam, kjer je varianca velika Ne glede na to, kako dobro merimo in modeliramo, so določeni deli bolj zašumljeni kot drugi. Npr. turbulentne fluktuacije tlaka so večje pri večji hitrosti kot pri nizki. Na tem delu zato želimo imeti več točk oz. bolj zgoščene točke. Običajno varianco a-priori ugibamo/določamo. Načrtovanje eksperimentov
Add.3) (se nadaljuje) Meri tam, kjer so spremembe velike Kjer so spremembe y velike za majhne spremembe x, moramo zgostiti merilne točke (primer kavitacija, prva laboratorijska vaja). Praktičen odgovor, kako izbrati točke je: skiciraj si potek merjene spremenljivke iz a-priori znanja in razdeli y skalo na izbrano število enakih intervalov. Sredine intervalov so kandidatki za izbiro neodvisne spremenljivke. Add.4) Če je mogoče, naj bo ponavljanje del meritev. Ponovljivost omogoča, da določimo od modela neodvisno standardno deviacijo procesa. Nekaj ponovite točk je nujno, vse ponovljene točke so dobrodošle. Kako bi sicer ugotovil, če si kakšno izmed pomembnih spremenljivk izpustil? Add.5) Randomizacija lahko odkrije počasna spreminjanja - drift. Čeprav imajo spremenljivke neko naravno usmeritev, lahko merimo z obeh strani. Npr. merimo karakteristiko ventilatorja, če začnemo z najmanjšim tlakom in končamo z največjim, morda ne upoštevamo vpliv segrevanja elektromotorja ventilatorja. Načrtovanje eksperimentov
Kaj so to optimalni modeli eksperimenta? - nekateri namreč trdijo, da brez njih ne moremo meriti in eksperimentalno modelirati - paziti moramo, da model eksperimenta ne postane pomembnejši od modela samega Poznamo: - full factorial desgn - fractional factorial design - Latin square design - Box-Behnken design in druge Vsak izmed navedenih optimalnih modelov eksperimenta je optimalen na svoj način. Slika: kateri DOE je boljši? Načrtovanje eksperimentov
DOE: Full factorial design Je lahko 2 2, 2 3, 3 3, itd. (število meritev = izbor vrednosti spremenljivka ) primer: Trdilna komora za kameno volno, imamo štiri spremenljivke, torej 3 4 - temperatura (visoka, srednja, nizka) - pretok obtočnega zraka (visok, srednji, nizek) - pretok dovedenega zraka (visok, srednji, nizek) - doveden masni tok materiala (visok, srednji, nizek) Za določanje različnih nivojev (visok, srednji nizek) imamo v proizvodnji problem. Ločeno modeliramo porabljeno energijo in čas, ki sta potrebna, posušimo izbrano količino kamene volne. Naredimo tabelo kombinacij 3 4 = 81 teh vrednosti in izvedemo eksperiment. To ni malo dela, zato bi radi zmanjšali število eksperimentov. Drug primer - rezkanje: globina, vrtilna hitrost, hitrost podajanja (2 3 ali 3 3 ) Načrtovanje eksperimentov Slika: 2 3
DOF: Fractional factorial design - število eksperimentov lahko hitro naraste preko razumne meje - nekatere delovne točke izpustimo, npr. obdržimo polovico, četrtino točk... - super, samo katere? - to lahko izvedemo na različne načine... - samo kateri način je pravi? - pravi fractional factorial design reprezentativno popiše merjeni/modelirani pojav.. - še vedno ne vem, kako to narediti? Slika: štiri meritve izmed 2 2 Načrtovanje eksperimentov
Zajemanje podatkov - izbira spremenljivk (kaj merimo, pa ne samo DOF, temveč kako izberemo in katere spremenljivke izberemo ) - izbira merilne opreme, slika spodaj desno in v sredini - način vzbujanja sistema (stimulus) ali izbira delovnih (obratovalnih) točk, slika zgoraj - izbira časa posnemanja in frekvence posnemanja (10x tako hitro, kot je pasovna širina merjenega signala), preprečevanje anti-aliasinga (podvzorčenje), - izbira in uporaba sistema za pretvorbo signalov: linearizacija (primer meritev pretoka z zaslonko), ojačanje, napajanje, ločevanje - filtriranje, zaznavalo ali ojačevalnik ali filter filtrirajo frekvenčno območje pred posnemanjem, slika podaj levo Zajemanje podatkov
- izbira spremenljivk (kaj merimo, pa ne samo DOF, temveč kako izberemo in katere spremenljivke izberemo ) - izbira merilne opreme, - način vzbujanja sistema (stimulus) ali izbira delovnih (obratovalnih) točk - izbira časa posnemanja in frekvence posnemanja (10x tako hitro, kot je pasovna širina merjenega signala), preprečevanje anti-aliasinga (podvzorčenje), sliki spodaj, levo 1D, desno 2D - izbira in uporaba sistema za pretvorbo signalov: linearizacija (primer meritev pretoka z zaslonko), ojačanje, napajanje, ločevanje - filtriranje, zaznavalo ali ojačevalnik ali filter filtrirajo frekvenčno območje pred posnemanjem Zajemanje podatkov
Predobdelava podatkov - vizualni pregled - brisanje napačnih vrednosti (outliers) - odstranjevanje naklona (nizkofrekvenčne komponente) - odstranjevanje premika - filtriranje in zmanjševanje velikosti (downsampling) - normiranje podatkov Predobdelava podatkov
- brisanje napačnih vrednosti (outliers) - odstranjevanje naklona (nizkofrekvenčne komponente, 50 ali 60 Hz, - dnevno/nočno delovanje elektrarne), to je visokopasovno filtriranje (high pass) - odstranjevanje premika - filtriranje in zmanjševanje velikosti (downsampling) Predobdelava podatkov
- Downsampling se uporablja, če je frekvenca vzorčenja dosti višja od pasovne širine pojava. Velika količina podatkov pa lahko v določenih primerih oteži kasnejše (uporabiti je potrebno antialiasing filter) vrednotenje in modeliranje - Normiranje podatkov (data scaling), to se lahko naredi na interval [0-1] ali [-1 1] ali najpogostejše tako, da je povprečna vrednost 0 in standardni odklon 1. To je še posebej pomembno v MIMO sistemih, ventila na sliki se odpirata v območju 0-100% in 50-60% SISO - Single Input Single Output SIMO - Single Input Multiple output MISO - Multiple Input Single Output MIMO - Multiple Input multiple Output Predobdelava podatkov
(Ne)parametrični modeli - Ukvarjali se bomo s časovno invariantnimi sistemi, to so sistemi, pri katerih izhod eksplicitno ni odvisen od časa. To pomeni, da prenosna funkcija ni odvisna od časa, razen tistega, ki se skriva v vhodih x in izhodih y. - časovno invariantne sisteme lahko predstavimo tudi s prenosno funkcijo (ne bomo je obravnavali, običajno samo en vhod in en izhod) oz. z impulznim ali s frekvenčnim odzivom (sliki desno) - Parametrični modeli: funkcija f preslika spremenljivke x v spremenljivko y. Z eksperimentalnim modeliranjem se na podlagi izmerkov x in y določi (nauči) funkcija f. Za določanje funkcije f vključno z njenimi parametri (malo število) obstaja veliko različnih metod. - Neparametrični modeli: funkcija f je lahko kakršnakoli, parametrov ima običajno zelo veliko, npr. nevronske mreže, metoda podpornih vektorjev (vector support machines), impulzni odziv, frekvenčni odziv. Pri tem naj bi neparametrični model še vedno znal dobro generalizirati vhodne podatke. y t y t = t x t = 10 x t Parametrični modeli
- Parametrični modeli predstavijo sistem v obliki algebraičnih enačb ali diferencialnih enačb. V primerjavi z neparametričnimi modeli so bližje fizikalnim modelom. - Imajo manjše število parametrov kot neparametrični modeli??????????????? Z diferencialnimi enačbami se ne bomo ukvarjali. Med parametrične modele sodijo: - polinomski modeli - logaritemski modeli - eksponentni modeli - potenčni modeli - linearni regresijski modeli - nelinearni regresijski modeli - itd. (kaj pa drugega) Regresija je statistično določanje povezave med spremenljivkami. Parametrični modeli
Linearni regresijski modeli (linearna regresija) Vzemimo pogost primer, ko imamo veliko vhodnih spremenljivk x i (teh je p) in eno izhodno spremenljivko y (enostavna vs. večkratna/multipla linearna regresija). Z več enostavnimi modeli lahko simuliramo več izhodnih spremenljivk. Vzorci (posamezne meritve) v eksperimentalne modelu so za i = 1 do n naslednji y i, x i1, x i2,, x ip i=1 n Enačbo zapišemo (to še ni linearna regresija, ta del samo opisuje meritve) y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip + ε i Za vsak i (izmerek) imamo p funkcij Zgornja enačba je "točna", ker ima dodano napako i-tega izmerka ε i. ε i je napaka i-tega izmerka, ε i so naključni Parametrični modeli
Linearni regresijski modeli (linearna regresija) - linearnost/nelinearnost in pomen parametrov Funkcije, ki nastopajo v modelu, so Φ 1, Φ 2,, Φ p lahko nelinearne funkcije. Linearni morajo biti koeficienti β. Ker predpostavimo fiksne vrednosti regresorjev, to ni problem. Če imamo opravka z modeliranjem na testni množici podatkov, takrat napak ε ne poznamo, zato zapišemo model na naslednji način (strešica nad odvisno spremenljivki pomeni, da gre za ocenjeno, modelirano spremenljivko) y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip Ta del že prestavlja modeliranje, to je uporabo modela. Parametre modela β 1, β 2,..., β p razložimo na naslednji način, npr. sprememba β j se kaže v spremembi y za neko enotsko spremembo v x j, ko ostale regresorje držimo konstantne. To je nekaj podobnega kot parcialni odvod y glede na x j. To je možno uporabiti pri modeliranju, da se ugotovi pomen posameznega regresorja na regresand. Eksperimentalno modeliranje
Lastnosti linearnih regresijskih modelov - spremenljivke y i imenujemo regresand, merjena spremenljivka, odvisna spremenljivka itd. - spremenljivke x i1, x i2,..., x ip imenujemo regresorji, vhodne spremenljivke, neodvisne spremenljivke, prediktorji itd. - običajno je kot ena izmed regresorjev vključena konstanta, npr. x i1 =1, če je presečišče z y osjo različno od nič. - včasih je ena ali več regresorjev nelinearna funkcija, kot npr. pri polinomski regresiji, model pa ostaja linearen, dokler so linearni parametri β 1, β 2,..., β p - regresorje x i1, x i2,..., x ip lahko obravnavamo kot naključne ali fiksne spremenljivke, kot naključne spremenljivke jih zgolj merimo, kot fiksne spremenljivke pa jih izberemo in krmilimo - vektor β 1, β 2,..., β p imenujemo parametri modela - vektor ε i imenujemo napako, motnjo ali šum Eksperimentalno modeliranje
Linearni regresijski modeli (linearna regresija) - predpostavke Standardni linearni regresijski modeli so omejeni s kopico predpostavk o merjenih spremenljivkah (regresorjih), modeliranih spremenljivkah (regresandih) in povezavi med spremenljivkami. Predpostavke so: - fiksne vrednosti regresorjev: izmerjene spremenljivke lahko obravnavamo kot fiksne vrednosti in ne kot naključne spremenljivke (se pretvarjamo, kot da nimajo merilne negotovosti) - linearnost, to pomeni, da je povprečen odziv regresanda linearna kombinacija parametrov in regresorjev. Ta predpostavka je v resnici mnogo manj omejujoča, kot se zdi. Ker prediktorje obravnavamo kot fiksne vrednosti (prva alineja), je linearnost v resnici zgolj omejena na parametre β 1, β 2,..., β p. Prediktorje lahko zato poljubno transformiramo in to večkrat in na različne načine (npr. t 2 ), kar se uporablja pri polinomski regresiji. To naredi linearno regresijo zelo močno orodje za modeliranje, včasih še preveč (overfiting, od npr. tretjega reda dalje...). - konstantna varianca, to pomeni, da imajo različne vrednosti regresanda enako varianco (regresandi so enakomerno raztreseni okrog "krivulje najboljšega ujemanja"), kar pa v praksi pri širokem intervalu vhodnih spremenljivk zagotovo ne drži - neodvisnost merilnih pogreškov, to pomeni da so napake v regresandih nekorelirane med seboj - nekoreliranost regresorjev (posamezna vhodna spremenljivka ni odvisna od druge spremenljivke), če so korelirane, vektor parametrov ni enoznačno določen Parametrični modeli
Linearni regresijski modeli (linearna regresija) - določanje koeficientov β Na podlagi meritev moramo določiti koeficiente β. To večinoma naredimo po metodi najmanjših kvadratov n S = y i β 0 β 1 Φ 1 x i1 β 2 Φ 2 x i2 β p Φ p x ip 2 i=1 Pri tem minimiziramo funkcijo S. Določanje koeficientov β po metodi najmanjših kvadratov ni edina možnost, je pa najbolj običajna. Čeprav linearne regresijske modele v praksi pogosto povezujemo z metodo najmanjših kvadratov, ne gre za eno in isto stvar. Npr. metodo najmanjših kvadratov lahko uporabimo za nelinearne modele. Parametrični modeli
Linearni regresijski modeli (linearna regresija) - linearnost Kako vemo, da je model linearen? Določamo samo parametre β, medtem ko funkcije Φ izberemo. To pomeni, da funkcije Φ v fazi učenja modela ne spreminjamo y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip + ε i - funkcija S, ki jo minimiziramo, je kvadratna... - odvodi funkcije S so linearno odvisni od parametrov β - parametri β, ki jih določamo, so linearni v funkciji y - parametri β, ki jih določamo, so linearno odvisni od napak ε - natačno gledano, bi morale biti tudi neodvisne (merjene) spremenljivke x linearne. Neodvisne spremenljivke lahko transformiramo in jih tako dodajamo (npr. polinomska regresija) n S = y i β 1 Φ 1 x i1 β 2 Φ 2 x i2 β p Φ p x ip 2 i=1 Linearna regresija zato lahko aproksimira funkcije, ki so močno nelinearne. Parametrični modeli
Linearni regresijski modeli (linearna regresija) - linearnost Če za funkcije Φ uporabimo nelinearne funkcije, postane model pogosto celo preveč odziven (overfitting) y i = β 0 + β 1 Φ 1 x i1 + β 2 Φ 2 x i2 + + β p Φ p x ip Zato moramo uporabiti neke vrste generalizacijo (regularizacijo). Parametrični modeli
Linearni regresijski modeli (linearna regresija) - poenostavljena oblika V zapisu izpustimo funkcijo, to prevzame posamezen parameter Učenje in modeliranje y i = β 0 + β 1 x i1 + β 2 x i2 + + β p x ip + ε i y i = β 0 + β 1 x i1 + β 2 x i2 + + β p x ip Izpustimo funkcijo Φ, saj jo lahko zamenjamo z ustrezno izbiro spremenljivke x. Overfitting: potrebujemo nek način regularizacije modela, npr. ridge regresija (metoda sedelnega spusta) in lasso regresija. Parametrični modeli
Linearni regresijski modeli (linearna regresija) - interpretacija vsi modeli na desni imajo enako regresijsko krivuljo 1. reda (premico), so pa zelo različni - regresijsko krivuljo ocenimo z regresijskim koeficientom - model uporabljamo za določanje povezave med merjenimi in modeliranimi spremenljivkami - merjene spremenljivke "fiksiramo", toda to ni vedno mogoče (npr. čas v modelu na naslednji strani, spremeni se tudi t i 2 ) - pomen in vrednost posameznega β - parcialni odvod y po x j - problem nepravih spremenljivk (dummy) Parametrični modeli
Dream job Linearni regresijski modeli (linearna regresija) - linearnost, tudi če ni Poglejmo si primer spuščanja krogle h i = β 0 + β 1 t i + β 2 t i 2 + ε i ta model je nelinearen v času, odvisen je samo od časa. Iz tega bi sklepali, da bo v modelu samo ena spremenljivka x i Toda če ga "predelamo" t i x i1 t i 2 x i2 dobimo... h i = β 0 + β 1 x i1 + β 2 x i2 + ε i Parametrični modeli
Potenčni modeli (power regression) Potenčna regresija je v EPS zelo pogosta, saj je podprta z zakoni podobnosti. Poznamo števila Re, Fr, We, itd. Merilne negotovosti ε i posamezne meritve ne upoštevamo y i = β 0 x i1 β 1 x i2 β 2 x ip β p Logaritmiramo, tako kot pri linearni regresiji dobimo sistem linearnih enačb, pri čimer je število enačb enako številu meritev ln y i = ln β 0 + β 1 ln x i1 + β 2 ln x i2 + β p ln x ip y i in x i so izmerki, z npr. metodo LSE določimo parametre β. Strogo matematično gledano, potenčni zakon ne more biti porazdelitev... Podobno modeliramo tudi eksponentne modele. Parametrični modeli
Kako izbrati najboljši parametrični model? Z zdravo pametjo in s poskušanjem. Pri oceni si pomagam s korelacijskim koeficientom R 2 (rečemo običajno kar R kvadrat) R 2 je 1- (vsota vseh napak)/varianca. Korelacijski koeficient ni idealno merilo za ocenjevanje ujemanja, ampak za silo gre. R 2 = 1 n i=1 n i=1 ε i 2 y i y 2 Parametrični modeli
Neparametrični modeli - impulzni odziv - frekvenčni odziv - nevronske mreže - metoda podpornih vektorjev So uporabni za dinamične spremenljivke, pa tudi za statične (nevronske mreže) Neparametrični modeli