Elektotehniški vestnik 764: 217 222, 2009 Electotechnical Review, Ljubljana, Slovenija ieahično iskanje ujemanja za vizualno kategoizacijo objektov Matjaž Jogan Univeza v Ljubljani, Fakulteta za ačunalništvo in infomatiko, Tžaška 25, 1000 Ljubljana, Slovenija E-pošta: matjaz.jogan@fi.uni-lj.si Povzetek. Pedstavljamo model vizualne pepoznave in kategoizacije objektov na podlagi odkivanja intenzitetnih in stuktunih ujemanj med intepetiano sliko in pototipno sliko objekta. Glavni pispevek te aziskave je upoaba sinhonega hieahičnega iskanja ujemanj, pi čeme se visokonivojska ujemanja konstuiajo pagmatično, v več avneh zduževanja, izbie in inhibicije. Z iskanjem ujemanj lahko kategoiziamo objekte bez petiane upoabe učenja, le z izčpnim iskanjem podobnosti med objekti. Kategoije toej niso opedeljene z naboom značilk, ki bi omogočale optimalno kategoizacijo, temveč kot mežni sistem podobnosti. Ekspeimentalni ezultati dokazujejo pimenost metode za iskanje višjenivojskih ujemanj med pototipno sliko objekta v kanoničnem pogledu in sliko neznanega objekta. Ključne besede: ačunalniški vid, vizualna kategoizacija, vizualno ujemanje, vizualno učenje, hieahične metode A ieachical Matching Famewok fo Visual Object Categoization Extended abstact. We investigate a famewok fo visual object categoization in atificial cognitive systems that is based on discovey of appeaance and stuctual similaities between pototypes that epesent a categoy and object exemplas. Ou main contibution is a novel appoach fo visual categoization of objects by synchonous hieachical matching to a pototype, whee high-level matches between an object and a pototype ae gadually discoveed though seveal steps of binding, selection and inhibition. We show that categoization can be achieved without an excessive collection of evidence o leaning fom examples. We stat with a low-level desciption, which defines elatively stable local egions of inteest ROI based on thei appeaance Figue 2. In ode to chaacteize the appeaance vaiation within local egions, the system leans a codebook of ICA filtes which impose a maximally spase esponse Figue 3. Clustes of local featues that confom to a subset of Gestalt ules being essentially co-centic o co-linea ae then gouped Figue 4. Featues on subsequent levels ae then dynamically constucted and matched in synchony between the view being intepeted and a pototype view of an object. The composite featues ae augmented with stuctual popeties and epesented in a geometic conceptual space, the stuctue of which is leaned on a pototype. Local binding is pefomed though the hieachy Algoithm 1 until a focused esponse within an aea that encompasses the whole object is constucted Figues 5 and 6. The esult is a set of matches of composite featues at level N, whee each of the featues can be tacked to the constituent featues at levels N 1, N 2,... 0. The decision whethe the two object categoies match, can be done based on the numbe of high-level matches. The expeiments on the ET-80 database show that the method efficiently disciminates between eight categoies of objects in a canonical view. Key wods: compute vision, visual categoization, visual matching, visual leaning, hieachical methods Pejet 5. febua, 2009 Odoben 14. febua, 2009 1 Uvod Kategoizacija objektov spada med pomembnejše pobleme umetnega zaznavanja. V tem delu obavnavamo ožje podočje vizualne kategoizacije objektov, ki poučuje poblem pedstavitve in pepoznavanja kategoij objektov z upoabo vidne infomacije. V okviu azvoja umetnih kognitivnih sistemov je vizualna kategoizacija pomembna pedvsem kot funkcionalnost, ki pemosti azliko med pocesianjem signala in višjenivojskim semantičnim pocesianjem, saj omogoča abstaktno intepetacijo pizoov in situacij. Eden pvih in vplivnejših poskusov ačunskega modela za kategoizacijo objektov je Maov model [12], ki temelji na postopnem pocesu pepoznave tidimenzionalnih pimitivov kot osnovnih gadnikov, iz kateih so sestavljeni kompleksnejši objekti. Ma pedvideva, da lahko pimitive uspešno ekonstuiamo, naka pizo kategoiziamo s pomočjo modela, na pime z upoabo intepetacijskih deves [8]. Težavna ekonstukcija pimitivov in omejitve pimitivov pi pedstavitvi nestuktuianih objektov so pogojevale postopen odmik od visokonivojskih pedstavitev k izvoni slikovni infomaciji, np. k pedstavitvam, zasnovanim na globalnem videzu objektov, ali pa k pedstavitvam z lokalnimi značilkami. Lokalne pedstavitve so še posebej uspešne kot osnova za statistično zasnovane modele kategoizacije. Ti se azli-
218 Jogan Slika 1. Shema modela za hieahično iskanje ujemanj. S pavokotniki so uokvijena lokalna podočja, kogi pa pomenijo eceptivna polja zduževanja. Zavoljo peglednosti je na sliki pikazan le del hieahičnega devesa povezovanja dveh začetnih lokalnih egij. Figue 1. The outline of the famewok fo hieachical matching. Rectangula outlines denote local egions, while cicula egions denote binding eceptive fields. Fo the sake of claity, only one banch of binding is depicted, stating with two initial local egions. kujejo pedvsem po vsti lokalnih značilk in po načinu in stopnji integacije geometičnih elacij med značilkami. Leibe in sod. [9] tako implementiajo kategoizacijo s slovaji lokalnih zaplat in implicitnim geometijskim modelom, medtem ko Fei-Fei in sod. [2] te Toalba in sod. [17] upoabljajo geneativni model lokalnih konstelacij. ieahične pedstavitve [4, 3, 14, 6], ki pedvidevajo hieahično kompozicionalnost objektov, poskušajo modeliati dele kot konstelacije lokalnih značilk na večih nivojih podobnosti. Medtem ko našteti pistopi definiajo kategoije z učenjem značilnosti nad množico pimeov ali z namensko definicijo lastnosti, pa lahko kategoije opedelimo le na podlagi podobnosti s pototipom [15], kje podobnost vednotimo z iskanjem stuktunih ujemanj [16], z defomacijskim ujemanjem oblike [1] ali s pimejavo segmentacijskih deves [18]. Večina pedlaganih metod temelji na pedhodnem iskanju lokalnih ujemanj, ki pa je v kontekstu kategoičnega pimejanja objektov pogosto poblematično. V pedlaganem pistopu pedlagamo model kategoizacije s postopnim iskanjem lokalnih in stuktunih ujemanj s pototipom, kje se ujemanja konstuiajo v hieahičnem sosledju lokalnega zduževanja in inhibicije. Tak način iskanja omogoča intenzivno odkivanje podobnosti na več nivojih podobnosti. Podobnosti, ki naj pedmet opedelijo kot pipadnika določene kategoije, so toej izpeljane iz pototipne slike objekta v kanoničnem pogledu [15] in niso vnapej opedeljene. Učenje kategoije ne pedvideva obšinega zbianja znanja o kategoiji objektov, temveč je implementiano kot spotno učenje lastnosti pototipa in kot učenje in pilagajanje paametov zduževanja. Diagam na sliki 1 pikazuje poenostavljeno shemo poteka kategoizacije. Pototipna slika je podlaga za učenje lokalnega slovaja filtov za klasifikacijo lokalnih egij in za učenje lastnosti geometičnega konceptualnega postoa GKP. Učenju sledi več nivojev zduževanja značilk, iskanja ujemanj in inhibicije. Značilke se zdužujejo v pae, ki z vsakim nivojem astejo, tako glede na velikost in kompleksnost sestavljenih značilnic kot tudi glede na povšino slike, ki jo opisujejo. Ti pocesi potekajo sinhono, v okviu omejenih eceptivnih polj pototipa in intepetiane slike. Če je bilo iskanje ujemanj med pototipom in intepetiano sliko uspešno, lokalna podočja na končnem nivoju obsegajo celotno povšino pototipa in ustezno povšino intepetiane slike. Število visokonivojskih ujemanj odaža stuktuno in vizualno podobnost s pototipom. Če sistem kategoij zasnujemo kot mežo podobnosti, lahko na podlagi števila ujemanj objekt kategoiziamo. V nadaljevanju bomo najpej pedstavili postopek detekcije, učenja in gučenja lokalnih egij, ki mu bo sledil opis hieahičnega zduževanja. Zaključili bomo z opisom ekspeimentalnih ezultatov in kitičnim ovednotenjem metode. 2 Detekcija, učenje in gučenje lokalnih egij 2.1 Detekcija Z detekcijo stabilnih lokalnih egij želimo zagotoviti lokalno podpoo za poznejše zduževanje slikovne infomacije. Klasične metode za azpoznavanje objektov na podlagi lokalnih egij upoabljajo infomativne opisnike, ki so načtovani z namenom minimizacije števila napačnih ujemanj [11]. Pi kategoizaciji objektov pa je značilno, da se objekti iz določene kategoije na lokalni avni lahko zelo azlikujejo. Zato v pičujočem pistopu lokalno fotometično infomacijo upoabimo le kot osnovo za gadnjo značilk na višjih nivojih, ki opisno moč pidobijo šele na nivoju posameznega objekta. Kljub temu pa moajo nizkonivojske značilke ustezati meilom ponovljivosti in stabilnosti, imeti pa moajo tudi lastno meilo in oientacijo. Poleg tega želimo, da so lokalne egije gosto
ieahično iskanje ujemanja za vizualno kategoizacijo objektov 219 Slika 3. Slova ICA, naučen na pototipni sliki. Figue 3. ICA codebook leaned fom a pototype image. Slika 2. Lokalne egije K i, detektiane na pvih štiih oktavah. Pavokotniki ponazajajo velikost egij in njihovo usmejenost. Figue 2. Local egions K i detected at the fist fou octaves. The size and oientation of the egions is denoted by oiented ectangles. posejane, tako da je začetna pedstavitev edundantna. Lokalna območja poiščemo z detektojem lokalnih egij, ki je zasnovan na podlagi lastnosti difeenčnih opeatojev v postou meil [10, 11]. Sliko Ix,y peslikamo v posto meil Lx,y,σ, do kateega pidemo s konvolucijo slike z Gaussovim jedom Gx, y, σ spemenljive velikosti. Sedišča lokalnih egij definiamo kot lokalne eksteme azlike Gaussovih jede Diffeence of Gaussians, DoG DoGx,y,σ = Lx,y,kσ Lx,y,σ 1 v postou meil. Izbeemo tiste kandidate, ki pesežejo pag lokalnega kontasta in so lokalni ekstem tudi v lokalni slikovni soseščini. Kandidate za lokalne egije dodatno okaakteiziamo glede na pisotnost oba v sediščni točki. Velikost posamezne egije je določena z meilom, na kateem je bila egija detektiana. Usmejenost egije je določena kot sme, kje histogam lokalnih gadientov zavzame maksimalno vednost [11]. Lokalne egije K i so toej opisane z lokacijo C K i, usmejenostjo o K i te velikostjo K i. Slika 2 pikazuje egije, detektiane na pvih štiih oktavah. 2.2 Učenje slovaja ICA Lokalne egije so zdaj opisane le s stuktunimi značilnostmi egije. Opis videza egije podamo na podlagi slovaja filtov, kateih maksimalno azpšeni odzivi določajo azed lokalne egije. Število azedov in s tem velikost slovaja je namenoma majhno, saj se želimo izogniti natančnemu opisu, ki bi pepečilo konstukcijo visokonivojskih ujemanj. Naboa filtov se naučimo z analizo neodvisnih komponent Independent Component Analysis, ICA slikovne matike učnih egij, ki jih pidobimo iz pototipne slike, ali pa iz več slik objektov določene kategoije. V liteatui se slovaji ICA pogosto obavnavajo kot model nevonskih eceptojev v pimanem vidnem koteksu [13, 5], venda pa učenje slovaja vedno temelji na naključno izbanih egijah naključnih slik. V naspotju s pistopi v liteatui v tem delu ačunamo slova le na infomianih podočjih, ki so bili že izbani v postopku detekcije. Slova se zato izogne modelianju edundantne infomacije in se osedini na opise značilnih stuktu z geneično smejo in velikostjo, ki je določena že z algoitmom detekcije. Če poleg tega učenje omejimo na pedmete ene kategoije, lahko že manjši slova opiše značilne dele objektov slika 3. Slikovno matiko X sestavimo iz nomalizianih intenzitetnih vektojev x, ki opisujejo posamezne egije v geneični smei. Posamezen vekto x i lahko pedstavimo z lineano supepozicijo več izvoov b i, x i = N a ij b j 2 j=1 uteženo s koeficienti a ij. Matično obliko enačbe 2 zapišemo kot x = Ab. Če z u označimo izvoe, ki jih ekonstuiamo na podlagi opazovanja vidnih vzocev, potem peslikavo x v u zapišemo kot u = Wx, kje je W = A 1, če je A invetibilen lineani sistem. Z analizo neodvisnih komponent pa izačunamo W in b tako, da pogojujemo statisično neodvisnost izvoov b j. Za izačun slovaja upoabimo algoitem FastICA [5]. Slika 3 je pime slovaja petih filtov po učenju iz pototipne slike kategoije. Lokalne egije K i dodelimo azedu w K i = m, ki je določen z indeksom filta w m z najvišjo absolutno vednostjo odziva w K i = ag max û m ; û = Ŵ x. 3 m 2.3 Gučenje Gestalt Lokalne značilke, ki so osedišcene na obnih točkah, tipično nastopajo v edundantnih, gostih gučah. Redundantnost zmanjšamo z gučenjem obnih egij na podlagi pincipov Gestalt. Algoitem implementia pincip
220 Jogan Slika 4. Značilke 0, pidobljene po gučenju K i. Figue 4. 0 featues afte gouping of K i. bližine gučijo se le značilke v omejenem območju, podobnosti gučijo se le značilke, ki pipadajo istemu azedu in skupne usode gučijo se le značilke, kateih smei tvoijo konguenten kot α adianov. Slika 4 pikazuje ezultat gučenja in pidobljene značilke. Na podlagi gučenja so nove značilke 0 izpeljane iz lastnosti guč K tako, da podedujejo azed odziva na slova ICA w 0 = w K i, sme in velikost značilke pa se izačunata iz geometijskih lastnosti guče. 2.4 ieahično zduževanje Zduževanje značilk poteka pek več hieahičnih nivojev. Značilke postopoma pidobivajo dodatno infomacijo o elativni geometijski konfiguaciji. Ke so geometijske elacije podane elativno in na lokalni avni, so značilke neodvisne od globalnega koodinatnega sistema, lokalni poces zduževanja pa je popolnoma neodvisen od dugih pocesov. Poces zduževanja se začne s koakom 0 1 in se načeloma lahko izvede za poljubno število nivojev. Na vsakem nivoju se n značilk v lokalnem območju zduži v n-teico. Ke zduževanje večjega števila značilk hito pivede do pevelike infomativnosti značilk, hieahija zdužuje značilke le v pae. Pa značilk uedimo glede na velikost egij, k i > k j te ga opišemo z atibuti elativne velikosti s k+1, azdalje l k+1, kotov α 1 k+1 in α 2 k+1 med smejo egij in povezovalno daljico in z oznako medsebojne lege smenih vektojev o k+1 : s k+1 = log l k+1 = log 1 + k i k j 1 + C k i C k j 2 k i α 1 k+1 = o k i, C k i C k j α 2 k+1 = o k j, C k i C k j o k+1 {0,1,2,3} Atibute pedstavimo v disketizianem geometičnem konceptualnem postou GKP, ki usteza psihološkim modelom zaznavanja [7]. Geometične atibute paa k i Input: Ĥk, k, F k, inne, oute, f Output: Ĥk+1, k+1, F k+1 } foeach F k u {Ĥk = i, k j do Min = Ĥ k i inne Max = Ĥ k i oute  = {Ĥk l : C Ĥ k l RFMin, } Max while cad  < f Min > 0 do if soseščina znotaj slike then Max = Max + eps else Min = Min eps update  Ĉ k+1 = bind Â, Ĥ k i RF = convexull  peslikaj RF v RF A = { k m : C k m RF Ĥk n Ĥk  : n, k m F k} C k+1 = bind A, k j F k+1 = F k+1 match Ĉ, C Ĥ k+1 {Ĉk+1 = Ĥk+1 m : Ĉk+1 m { Fk+1} k+1 = k+1 C k+1 m : Ck+1 m Fk+1} Algoitem 1: ieahično zduževanje, iskanje ujemanj in inhibicija. Algoithm 1: ieachical binding, matching and inhibition. opišemo z disketnim opisnikom G k i : [ Qs s k ] i,q l l k i,q α α 1 k i,q α α 2 k i, o k i, kje Q pomeni kvantizacijo. Naj k k+1 označuje nivoje zduževanja. Značilke na vsakem od nivojev lahko opišemo z disketnim zapoedjem, ki popolnoma opisuje podejeni značilki te geometijska azmeja med njima: D 0 i = w 0 i 4 D k+1 m = G k+1 m D k i D k j; k > 0. 5 Ke so distibucije geometijskih paametov na posameznih nivojih hieahije odvisne od stuktunih lastnosti objektov, lahko kvantizacijo pilagodimo posameznemu pototipnemu modelu. Model pidobimo s hieahičnim zduževanjem pototipa s samim seboj. Tako pidobljene distibucije paametov so unimodalne, zato lahko kvantizacijo pilagodimo na podlagi statističnih momentov. 2.5 Sinhono zduževanje, iskanje ujemanj in inhibicija Naj bodo Ĥk značilke pototipa, k značilke intepetiane slike, F k pa indeks ujemanj } F k = {Ĥk i, k j : D Ĥ k i = D k j. Zduževanje poteka tako, da za vsak pa iz množice ujemanj F k aktiviamo eceptivno polje Ĥk i, v kateem
ieahično iskanje ujemanja za vizualno kategoizacijo objektov 221 številom ujemanj pi kompleksnih objektih, saj naučen geometični konceptualni posto pilagodi iskanju pepostih oblik, ka tudi do določene mee pepečuje halucinianje pepostih oblik v kompleksnih objektih. Slika 8 pikazuje pvih pet objektov z najvišjim številom ujemanj na 5. Vidimo lahko, da ujemanja na višjih nivojih hieahije opisujejo konsistentne stuktune podobnosti med objekti te da so objekti iste kategoije paviloma med tistimi z največjim številom ujemanj na 5. 10 5 Ca 10 5 Cow Slika 5. Sinhono zduževanje 1 2. Figue 5. Sychonous matching 1 2. 10 4 10 4 ose 10 5 10 4 Tomato 10 4 Slika 6. Sinhono zduževanje 4 5. Figue 6. Sychonous matching 4 5. poiščemo f kandidatov. Del eceptivnega polja, ki vsebuje te kandidate, nato peslikamo na nivo k intepetiane slike, kje pav tako poiščemo in zdužimo kandidate za ujemanja. Lokalna ujemanja na k+1 ohanimo, duge značilke pa zavžemo. Postopek opisuje algoitem 1. Izhod iz algoitma so značilke Ĥk+1, k+1 te indeks ujemanj F k+1. Slika 5 ponazaja zdužene značilke po pvem koaku 0 1, slika 6 pa ponazaja končni ezultat, če pedvidevamo pet nivojev zduževanja. Slika 7. Povpečna števila ujemanj na nivojih 1-5. Figue 7. Aveage numbe of matches at levels 1-5. 3 Ekspeimentalni ezultati Model smo peizkusili na poblemu kategoizacije segmentianih objektov v zbiki ET80. Vsaka od osmih kategoij je pedstavljena s pototipnim objektom v kanonični oientaciji. Zaadi manjšega števila detektianih lokalnih egij učimo slova ICA filtov na več slikah iste kategoije, ki pa niso hkati tudi v testni množici slik. Za vsakega od pototipov se naučimo kvantizacije geometičnega konceptualnega postoa. Slika 7 pikazuje povpečno število ujemanj vsakega od pototipov z vsemi dugimi slikami objektov v isti kanonični oientaciji na vsakem od petih nivojev hieahije. Na desni stani gafikonov so pikazani pototipi kategoij, uejeni po padajočem številu ujemanj na 5. Vsi pototipi geneiajo najvišje število ujemanj z objekti lastne kategoije, medtem ko dobijo tudi stuktuno zelo podobne kategoije v povpečju manj glasov. Iskanje ujemanj s pepostimi pedmeti se konča z bistveno manjšim Slika 8. Pvih pet objektov po številu 5 ujemanj. Figue 8. The five exemplas with the highest numbes of 5 matches. 4 Sklep Pedstavili smo nov model kategoizacije objektov s postopnim iskanjem lokalnih in stuktunih ujemanj s pototipom, kje se ujemanja konstuiajo v hieahičnem sosledju lokalnega zduževanja, iskanja ujemanj in inhibicije. Rezultati dokazujejo upoabnost metode za kategoizacijo objektov v kanoničnem pogledu. Pomembno je
tudi, da metodo lahko upoabimo za detekcijo potencialnih ujemanj med objekti na več nivojih podobnosti, ka dosežemo z analizo nizkonivojskih ujemanj, na kateih temeljijo visokonivojska ujemanja. Pokazali smo tudi, da lahko objekte na slikah učinkovito kategoiziamo z upoabo pototipne pedstavitve, ki ne zahteva ekstenzivnega učenja na obsežnih učnih množicah. Metoda omogoča le pepoznavanje v kanoničnem pogledu, venda pa je bila azvita za implementacijo v šišem kognitivnem sistemu, kje bi lahko z upoabo kontekstnega pocesianja, večmodalnosti in aktivnega zaznavanja dosegli učinkovito kategoizacijo poljubnih objektov. 5 Liteatua [1] S. Belongie, J. Malik, & J. Puzicha, Shape matching and object ecognition using shape contexts. IEEE Tans. Patten Anal. Mach. Intell., 244:509 522, 2002. [2] L. Fei-Fei, R. Fegus, & P. Peona, Leaning geneative visual models fom few taining examples. In Compute Vision and Patten Recognition Wokshop, 2004 Confeence on, pp. 178 178, 2004. [3] S. Fidle, M. Boben, & A. Leonadis, Similaity-based coss-layeed hieachical epesentation fo object categoization. In CVPR, 2008. [4] S. Fidle, & A. Leonadis, Towads scalable epesentations of object categoies: Leaning a hieachy of pats. In Compute Vision and Patten Recognition, 2007. CVPR 07. IEEE Confeence on, pp. 1 8, 2007. [5] A. yvainen & P. oye, Emegence of complex cell popeties by decomposition of natual images into independent featue subspaces. In Atificial Neual Netwoks, 1999. ICANN 99. Ninth Intenational Confeence on Conf. Publ. No. 470, Vol. 1, pp. 257 262vol.1, 1999. [6] Y. Jin & S. Geman, Context and hieachy in a pobabilistic image model. In Compute Vision and Patten Recognition, 2006 IEEE Compute Society Confeence on, Vol. 2, pp. 2145 2152, 2006. [7] G. A. Kelly, The Psychology of Pesonal Constucts. Routledge, 1991. [8] J. Kivic & F. Solina, Pat-level object ecognition using supequadics, Compute Vision and Image Undestanding, 951:105 126, 2004. [9] B. Leibe, A. Leonadis, & B. Schiele, Robust object detection with inteleaved categoization and segmentation. Intenational Jounal of Compute Vision, 771-3:259 289, 2008. [10] T. Lindebeg & J. Eklundh, Scale detection and egion extaction fom a scale-space pimal sketch. In Compute Vision, 1990. Poceedings, Thid Intenational Confeence on, pp. 416 426, 1990. [11] D. Lowe, Object ecognition fom local scale-invaiant featues. In Poc. of the Intenational Confeence on Compute Vision, Cofu, IEEE Compute Society, 1999. [12] D. Ma, Vision. W.. Feeman, San Fancisco, CA, 1982. [13] B. A. Olshausen & D. Field, Emegence of simple cell eceptive field popeties by leaning a spase code fo natual images. Natue, 381:607 609, 1997. [14] M. Riesenhube & T. Poggio, Models of object ecognition. Natue Neuoscience Supplement, 3:1199 1203, 2000. [15] E. Rosch, Natual categoies. Cognitive Psychology, 4:328 350, 1973. [16] A. Shokoufandeh, et. al, The epesentation and matching of categoical shape. Compute Vision and Image Undestanding, 1032:139 154, 2006. [17] E. Suddeth, A. Toalba, W. Feeman, & A. Willsky, Leaning hieachical models of scenes, objects, and pats. In Compute Vision, 2005. ICCV 2005. Tenth IEEE Intenational Confeence on, Vol. 2, pp. 1331 1338Vol.2, 2005. [18] S. Todoovic & N. Ahuja, Extacting subimages of an unknown categoy fom a set of images. In Compute Vision and Patten Recognition, 2006 IEEE Compute Society Confeence on, Vol. 1, pp. 927 934, 2006. Matjaž Jogan je asistent na Fakulteti za ačunalništvo in infomatiko v Ljubljani. Raziskovalno se ukvaja s hieahičnimi modeli pocesianja vidne infomacije. Je avto in soavto številnih aziskav s podočij umetne zaznave postoske infomacije, samodejnega katogafianja za lokalizacijo in navigacijo mobilnih sistemov, obustnega in spotnega učenja, ukvaja pa se tudi z upoabo umetnega vida v inteaktivnih sistemih.