Microsoft Word - APV_9_IJS_Lumbar.doc

Transkripcija

1 Prediktivno vodenje letala s pomo jo strojnega vida Satja Lumbar 1), Gregor Dolanc 1), Stanko Strm nik 1), Darko Vre ko 1), Drago Matko 2) 1) Inštitut Jožef Stefan Jamova 39, 1000 Ljubljana, Slovenija Satja.Lumbar@ijs.si Predictive visual servoing of an aircraft In the paper a prototype of a system for automatic landing of aircrafts and helicopters is described. The key requirement is to develop a completely autonomous system that does not depend on any kind of infrastructure or equipment, located outside the aircraft (GPS, ILS, etc.). The idea is to control and navigate the aircraft using images, acquired by the vision sensor installed on the aircraft. For control model predictive method (MPC) is used. This paper describes the structure and the properties of the international project within which the system is being developed. Furthermore, the latest results of the work done by the group at Jozef Stefan Institute are presented. 1. Uvod V tem lanku podajamo pregled vsebine in trenutne rezultate mednarodnega projekta PEGASE (helicopter and aeronef navigation Airborne System Experimentations) šestega okvirnega programa (6 th FP). Cilj projekta je možnostna študija za razvoj sistema za avtomatsko pristajanje letal ter helikopterjev s pomo jo strojnega vida. Sistemi za avtomatsko pristajanje oziroma za pomo pri pristajanju obstajajo in so v uporabi že relativno dolgo, vendar pa vsi ti sistemi slonijo na navigacijski opremi, ki ni locirana le na letalu, pa pa tudi izven letala, bodisi na letališ u bodisi v okviru navigacijskih satelitov. Navigacija poteka s pomo jo signalov, ki jih oddaja navigacijska oprema izven letala in sprejema navigacijska oprema na letalu. V redni uporabi je nekaj tovrstnih sistemov, najbolj pogost je t.i. ILS (Instrument Landing System), ki sloni na navigacijski opremi na letališ ih, uporablja pa se tudi GPS, ki sloni na satelitski navigaciji. 2) Fakulteta za Elektrotehniko Tržaška 25, 1000 Ljubljana, Slovenija Odvisnost omenjenih sistemov od opreme izven letala je lahko slaba lastnost v smislu varnosti. Navigacijska oprema izven letala je namre lahko predmet naklju nih ali namernih okvar, kar bistveno zmanjšuje varnost. Odtod izvira tudi glavna motivacija projekta PEGASE, to je razviti nov, popolnoma avtonomen sistem za avtomatsko pristajanje, ki ne bo odvisen od zunanje opreme, pa pa le od opreme, ki je locirana na letalu samem. Tak sistem je potencialno uporaben kot rezerva obstoje im sistemom za avtomatsko pristajanje ali pa kot primarni pristajalni sistem na letališ ih brez ustrezne pristajalne navigacijske opreme. Klju na ideja je navigacija in vodenje letala s pomo jo strojnega vida, to neje s pomo jo sekvence slik, posnetih s slikovnimi senzorji, nameš enimi na letalu. Primerjava slik in modela okolja namre omogo a oceno pozicije in orientacije letala oziroma omogo a tudi neposredno vodenje pozicije letala, brez eksplicitne ocene same pozicije in orientacije. Razvoj sistema je potekal v simulacijskem okolju. Vsi podsistemi so bili izvedeni v obliki programske opreme, ki je bila nato preko predpisanih vmesnikov integrirana v skupno simulacijsko okolje, ki je omogo ilo funkcionalno preizkušanje celotnega sistema.. Vsebina lanka je naslednja. Uvodu sledi drugo poglavje, v katerem navajamo glavne podatke o projektu in partnerjih. V tretjem poglavju kratko opisujemo strukturo sistema in funkcije posameznih podsistemov. V etrtem poglavju podajamo vlogo in opis simulacijskega okolja, ki je klju no orodje za razvoj in testiranje predlaganih rešitev. V petem poglavju pa nekoliko podrobneje opisujemo vlogo Odseka za sisteme in vodenje Inštituta Jožef Stefan v projektu ter predstavljamo trenutne rezultate.

2 2. Opis projekta PEGASE je mednarodni evropski projekt, financiran s strani 6 okvirnega programa. Gre za projekt tipa STREP (Specific Targeted Research Project), tematske prioritete 1.4 Aeronautics and Space. Koordinator projekta je francosko letalsko podjetje Dassault Aviation, vklju enih je še 6 podjetij in 7 akademskih institucij, kot je navedeno v Tabeli 1. Prora un projekta je 5,13 milijona Evrov. Projekt je razdeljen na tematsko lo ene, vendar visoko integrirane delovne sklope, ki se navezujejo na posamezne podsisteme celotnega sistema. Informacije o projektu so javno dostopne na internetni strani [1]. Table 1: Partnerji na projektu PEGASE Podjetje/Institucija Akronim / Država Dassault Aviation DASSAV / FR Alenia Aeronautica ALA / IT Eurocopter France ECf / FR Eurocopter Deutschland ECd / GE European Aeronautic Defence and Space company EADS / FR Walphot S.A. WAL / BE Elliniki Photogrammetriki ELPHO / GR Centre National de la Recherche Scientifique CNRS / FR Consorzio Nazionale Interuniversitario per le Telecomunicazioni CNIT / IT Institut National de Recherche en Informatique et Automatique INRIA / FR Jozef Stefan Institute JSI / SLO Eidgenössische Technische Hochschule Zürich ETHZ / CH Ecole Polytechnique Fédérale de Lausanne EPFL / CH Instituto Superior Técnico IST / PO Logo 3. Opis sistema V tem poglavju kratko opisujemo strukturo predlaganega sistema, ki je mo no poenostavljeno prikazana na sliki 1 ter podajamo opis posameznih podsistemov. Slika 1: Sestava sistema 3.1 Slikovni senzorji Ena izmed klju nih komponent sistema so senzorji za zajem slike, ki morajo zagotoviti primerno kvaliteto slike v razli nih vidljivostnih razmerah (dan, no, sneg, dež, megla, okolica, pokrita s snegom in podobno). V okviru projekta senzorjev nismo neposredno razvijali, pa pa smo skušali najti primerne obstoje e tehnološke rešitve. Za izbor primerne tehnologije so zadolženi projektni partnerji, ki so specialisti s tega podro ja. Na voljo je ve obstoje ih tehnologij, poleg klasi nih CCD senzorjev, ki so uporabni ve ali manj le v idealnih vremenskih razmerah, so na voljo magnetni senzorji, infrarde i senzorji, kot zelo obetavni pa so se izkazali zlasti laserski senzorji, ki delujejo v širokem spektru vremenskih razmer. Poleg samega izbora senzorjev je bilo potrebno zagotoviti še sistem za združitev slikovnih informacij, kadar se uporablja ve razli nih senzorjev hkrati (data fusion) ter matemati ne modele posameznih senzorjev. Matemati ni model slikovnega senzorja je matemati na transformacija, ki idealno sliko okolice pretvori v realno sliko, kakršno sicer proizvaja dolo en senzor v dolo enih vidljivostnih razmerah. Matemati ni modeli senzorjev so v projektu pomembni za potrebe integracije in njihovega ovrednotenja v simulacijskem okolju. 3.2 Geografska baza Geografska baza širše okolice letališ a se uporablja za navigacijo v fazi, ko je letalo še

3 precej oddaljeno od letališ a in posledi no geometrijske lastnosti pristajalne steze in objektov v okolici še niso natan no vidne. V tej fazi govorimo o lokalizaciji pristajalne steze, cilj je lokalizirati pristajalno stezo v okviru slike, kar poteka s pomo jo primerjave geografske baze in slik, posnetih iz letala. Za izvedbo opisanega koncepta so zadolženi projektni partnerji, ki so specialisti s podro ja geografskih baz in fotogrametrije (ETHZ, WALPHOT, ELPHO). 3.3 Sledenje s strojnim vidom Slednje s strojnim vidom (angl. Visual Tracking) v splošnem predstavlja ocenjevanje relativne fizi ne pozicije in orientacije slikovnega senzorja glede na opazovani objekt [2,3]. V našem primeru je slikovni senzor nameš en na letalu, objekt pa je pristajalna steza. Za potrebe pristanka letala smo sledenje izvedli v dveh fazah: Ko je letalo še precej oddaljeno od pristajalne steze, slednje poteka s pomo jo primerjave slike s podatkovno bazo, kot smo opisali v razdelku 3.2. Ko je letalo relativno blizu pristajalne steze in postanejo geometrijske lastnosti steze in objektov v okolici jasno razpoznavne, preklopimo na drugi na in, to je slednje na osnovi dolo enih slikovnih zna ilk, npr. robov steze. Rezultat algoritmov za sledenje je lahko bodisi pozicija in orientacija letala glede na pristajalno stezo bodisi matemati ni opis zna ilk slike v koordinatnem sistemu kamere. Algoritme za sledenje s strojnim vidom so v okviru projekta PEGASE razvili partnerji INRIA, EPFL in CNRS. 3.4 Vodenje s strojnim vidom Vodenje s strojnim vidom (angl. Visual Servoing) je nadgradnja sledenja in pomeni vodenje (regulacijo) fizi ne pozicije in orientacije dolo enega objekta na osnovi strojnega vida [4,5,6]. V našem primeru je cilj vodenja, da letalo sledi vnaprej predpisani poti, t.i. pristajalni trajektoriji. Vodenje s strojnim vidom torej povezuje dvoje: 1. sledenje s strojnim vidom in 2. vodenje letala (avtopilot). Celoten sistem je izveden v obliki dvo-nivojske kaskadne regulacijske sheme, kot je zelo poenostavljeno prikazano na sliki 2. Slika 2: Kaskadna struktura sistema za sledenje s strojnim vidom Notranji regulacijski nivo služi stabilizaciji letala oziroma njegove orientacije in kotnih hitrosti. Zunanji regulacijski nivo pa je namenjen vodenju pozicije letala po vnaprej predpisani prostorski trajektoriji z vnaprej predpisano hitrostjo. V okviru projekta smo izvedli dve varianti zunanjega nivoja: a) Pozicijsko vodenje s strojnim vidom (PBVS position based visual servoing) v tem primeru se iz pridobljene slike najprej ocenita pozicija ter orientacija letala in se nato uporabita kot merjeni veli ini. b) Slikovno vodenje s strojnim vidom (IBVS image based visual servoing) iz pridobljene slike se pozicija ter orientacija letala ne ocenjujeta neposredno, pa pa se ocenjujejo zna ilke iz slike, npr. koordinate robov pristajalne steze. Tudi predpisana trajektorija leta je v tem primeru izražena s pomo jo sekvence slikovnih zna ilk. Primer sledenja trajektoriji je prikazan na sliki 3, kjer siva rta predstavlja predpisano prostorsko trajektorijo, rna pa dejansko pozicijo letala. Algoritme za vodenje s strojnim vidom so v okviru projekta PEGASE razvili v naslednjih institucijah: INRIA, IST, CNRS ter JSI.

4 Slika 3: Sledenje prostorski trajektoriji 4. Simulacijsko okolje Razvoj in preizkušanje sistema poteka v skupnem simulacijskem okolju, ki je tudi bilo razvito v okviru projekta in sicer s strani projektnega partnerja Dassault Aviation. Simulacijsko okolje omogo a integracijo vseh podsistemov, ki so jih razvili razli ni projektni partnerji. Posamezni podsistemi so v splošnem izvedeni z razli nimi programski orodji (Matlab, C++ in ostalo), da pa bi jih lahko integrirali v sistem, morajo njihovi vhodno / izhodni vmesniki ustrezati deklaracijam, ki jih definira simulacijsko okolje. Poleg vseh podsistemov (slikovni senzorji, geografska baza, algoritmi za sledenje, algoritmi za vodenje) simulacijsko okolje vklju uje še dva klju na elementa, to sta matemati ni model letala in generator sinteti ne slike. Matemati ni model letala je množica dinami nih in stati nih ena b oziroma relacij, ki opisujejo dinami ni odziv letala na spremembe vhodnih signalov (komandni signali in motnje). Glavna izhoda modela sta pozicija in orientacija letala. Za izvedbo modela je bil zadolžen projektni partner Alenia Aeronautica, gre za izredno podroben in natan en matemati ni model, izveden v okolju MATLAB Simulink. Generator slike proizvaja sliko okolice, ki je vidna iz letala med pristankom. Vhod v generator slike sta pozicija in orientacije letala, ki izvirata iz izhoda matemati nega modela letala. Generator slike vsebuje tudi interno slikovno podatkovno bazo okolice (povsem lo ena od geografske podatkovne baze iz razdelka 3.2). Izhod generatorja je idealna nepopa ena slika. Ta slika se nato uporablja kot vhod v modele senzorjev, modeli senzorjev pa nato proizvajajo ''realno'' popa eno sliko, ki upošteva lastnosti senzorjev in vremenske razmere. Generator slike sloni na programskem paketu FlightGear [8], za njegovo integracijo v simulacijsko okolje pa je bil zadolžen projektni partner Dassault Aviation. V okviru simulacijskega okolja je bila pripravljena tudi množica testnih scenarijev, ki predpisujejo pristajalno trajektorijo ter zunanje vplive (veter, turbulence). Ti scenariji se uporabljajo za preizkušanje in vrednotenje sistema. 5. Vloga Inštituta Jožef Stefan Naloga Odseka za sisteme in vodenje Instituta Jožef Stefan je bila razvoj algoritmov za vodenje letala, kot so opisani v razdelku 3.4. Pozornost smo posvetili obema opisanima principoma, to sta pozicijsko in slikovno vodenje s strojnim vidom. Pri pozicijskem vodenju s strojnim vidom je vhod v naš podsistem pozicija in orientacija letala, pri slikovnem vodenju pa so vhodi matemati ni opisi zna ilk slike. V obeh primerih je bil naš cilj razviti regulacijske algoritme, ki slonijo na sodobnih metodah vodenja (prediktivne regulacijske metode) in pokazati prednost teh metod v primerjavi s klasi nimi metodami (PID, linearni kvadrati ni regulator), ki so jih paralelno z nami pripravili ostali projektni partnerji (Alenia Aeronautica, Inria Lagadic, ). Prediktivna regulacija [7] se je izkazala kot izjemno primerna metoda, saj je sposobna upoštevati ne le trenutno vrednost želene pozicije letala, pa pa tudi sekvenco vnaprej podanih želenih vrednosti pozicije, t.j. celotno predpisano trajektorijo leta. Na ta na in je bila dosežena natan nejša regulacija in boljše slednje predpisani trajektoriji leta, kot v primeru klasi nih metod. Nadaljnja prednost prediktivne regulacije je zmožnost upoštevanja razli nih

5 procesnih omejitev pri iskanju optimalnih krmilnih signalov, kar je pri vodenju letala izredno aktualna lastnost. Sledi kratek opis prediktivne regulacije in na in implementacije. 5.1 Splošno o prediktivnem vodenju Slika 4 prikazuje osnovni koncept prediktivnega vodenja oziroma regulacije. S pomo jo optimizacije na osnovi linearnega modela procesa se iš ejo trenutne in prihodnje vrednosti krmilnih signalov (u i ), ki minimizirajo kriterijsko funkcijo (J), podano s pomo jo ena be (1), upoštevajo trenutno in prihodnje predpisane vrednosti izhodov procesa (r i ) in trenutno ter prihodnje dejanske vrednosti izhoda procesa (y i ). Pri tem se prihodnje vrednosti izhoda procesa ocenijo s pomo jo modela procesa. Ostali parametri so: w i uteži regulacijske napake, w ui uteži spremembe krmilnih signalov, P prediktivni horizont regulatorja in C kontrolni horizont regulatorja. Podrobnejši opis metode najdemo v [7]. J P i 1 C 2 2 wi ri yi wui ui (1) i 1 Uvedli smo tudi koncept t.i. kratkoro nih trajektorij, ilustriran na sliki 9. Po tem konceptu se v vsakem vzor nem intervalu generira sekvenca bodo ih želenih pozicij letala, ki asimptoti no poteka od trenutne pozicije letala v smeri predpisane trajektorije leta. Kratkoro ne trajektorije zgladijo potek regulacije v primeru velikih odstopanj pozicije letala od predpisane trajektorije in hkrati predstavljajo premostitev med asovnim konceptom prediktivne regulacije in predpisano prostorsko (3D) trajektorijo leta, ki ni podana v odvisnosti od asa. Tabela 2 Longitudinalni prediktivni regulator VHODI V_dem referen na hitrost h_dem referen na višina V merjena hitrost h ocenjena višina kot longitudinalnega nagiba q merjena kotna hitrost longitudinalnega nagiba IZHODI q_dem zahtevana kotna hitrost longitudinalnega nagiba thr komanda za mo motorja Tabela 3 Lateralni prediktivni regulator VHODI _dem referen ni kot smeri leta p kotna hitrost lateralnega nagiba r kotna hitrost kota smeri leta kot lateralnega nagiba kot smeti leta IZHODI p_dem zahtevana kotna hitrost kota lateralnega nagiba Slika 4: Koncept prediktivnega vodenja 5.2 Implementacija prediktivnega vodenja S pomo jo opisane prediktivne regulacije smo rešili problem zunanjega regulacijskega nivoja s slike 2. Notranji nivo pa je izveden s pomo jo linearnega kvadrati nega regulatorja in sicer s strani projektnega partnerja Alenia Aeronautica. V skladu s prakso in standardi smo lo eno izvedli longitudinalni in lateralni regulator, vhodi in izhodi obeh so razvidni iz Tabel 2 in 3. Oba regulatorja sta na rtana na osnovi linearnih modelov procesa, ki so dobljeni s pomo jo linearizacije osnovnega nelinearnega modela letala v ve delovnih to kah. Slika 5: Koncept kratkoro ne trajektorije 5.3 Rezultati Razviti sistem smo preizkusili v okviru simulacijskega okolja, rezultati delovanja so dobri in potrjujejo ustreznost koncepta in prednosti prediktivne regulacije. Za ilustracijo prikazujemo simulacijo pristanka na letališ u Provance v Marseillu. Sliki 6 in 7 (izsek slike 6) prikazujeta sledenje letala predpisani trajektoriji, zgoraj tloris leta, na sredini naris leta ter spodaj hitrost leta. Na sliki 7 zgoraj

6 opazimo najo itnejšo prednost, ki jo prinaša prediktivno vodenje, to je zmožnost reagiranja na spremembo želene vrednosti še preden se leta dejansko pojavi. Sprememba smeri se namre za ne izvajati prej, kot bi se v primeru klasi nih metod vodenja, ki niso sposobne upoštevati vnaprej podanih želenih vrednosti. Z uporabo prediktivnega vodenja smo tako dosegli boljše sledenje letala prostorski trajektoriji. Slika 8 pa prikazuje krmilne izhode regulatorja. Slika 6: Sledenje predpisanemu scenariju Slika 7: Sledenje (izbrani detajl) Slika 8: Izhodi iz prediktivnega regulatorja 6. Zaklju ek lanek opisuje projekt in rezultirajo i sistem za avtomatsko pristajanje letal na osnovi strojnega vida. V asu priprave tega lanka se projekt nahaja v zadnji fazi, ki obsega optimizacijo razvitih rešitev, testiranje in vrednotenje. Do sedaj doseženi rezultati so obetajo i, osnovne tehnologije za pridobivanje slike, vizualne lokalizacije, sledenja s strojnim vidom ter vodenja s strojnim vidom nakazujejo na pozitiven rezultat možnostne študije. Razviti sistem na osnovi prediktivne regulacije kaže pri akovane prednosti v primerjavi s klasi nimi metodami, predvsem zaradi zmožnosti upoštevanja vnaprej predpisanih trajektorij leta. 7. Zahvala Zahvaljujemo se Evropski Komisiji za finan no podporo v okviru pogodbe AST5-CT in Agenciji za raziskovalno dejavnost RS za finan no podporo v okviru programa PL-0001 in projekta PR Literatura [1] Information about the project on the internet: [2] L. Vacchetti, V. Lepetit, and P. Fua. Stable realtime 3d tracking using online and offline information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(10): , [3] Fürst S.; Dickmanns E.D.: "A Vision Based Navigation System for Autonomous Aircraft", 5 th Int. Conf. on Intelligent Autonomous Vehicles 'IAS-5', Sapporo, JP, June 1998, pp [4] B. Espiau and F. Chaumette and P. Rives: A New Approach to Visual Servoing in Robotics, IEEE Transactions on Robotics and Automation, Vol.8, N.3, June [5] P. Rives and J. R, Azinheira: Linear Structures Following by an Airship using Vanishing Point and Horizon Line in a Visual Servoing Scheme, Int. Conf. On Robotics and Automation, ICRA04, New Orleans, USA, April [6] E. Malis, F. Chaumette, S. Boudet. 2 1/2 D Visual Servoing. IEEE Transactions on Robotics and Automation, 15(2): , April [7] J.M. Maciejowski, Predictive Control with Constraints, Prentice Hall, 36-70, [8]