MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU

Transkripcija

1 NASLOVNA STRAN DIPLOMSKEGA DELA UNIVERZA V MARIBORU FAKULTETA ZA ELEKTROTEHNIKO, RAČUNALNIŠTVO IN INFORMATIKO Gregor Šeško MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU Diplomsko delo Maribor, avgust 2016

2 MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU Diplomsko delo Študent(ka): Študijski program: Smer: Mentor(ica): Gregor Šeško Univerzitetni, Elektrotehnika Elektronika red. prof. dr. Zdravko Kačič II

3 I

4 Multimodalna komunikacija na mobilnem telefonu ZAHVALA Zahvaljujem se mentorju prof. dr. Zdravku Kačiču za pomoč pri nastajanju diplomskega dela. Hvaležen sem vsem profesorjem in asistentom za deljenje znanja, ki sem ga z veseljem sprejemal. Zelo sem vesel, da so bila vsa znanja podana zelo jasno in razumljivo. Naučil sem se, da je zelo pomembno, da imamo za učitelja nekoga, ki ima resnično védenje. Vesel sem, da sem za študij izbral Fakulteto za elektrotehniko, računalništvo in informatiko Univerze v Mariboru. Srčno se zahvaljujem očetu, mami in sestri Anji za vso pomoč in podporo, ki so mi jo nudili tekom študija in pri sami izdelavi diplomske naloge. Hvala tudi sorodnikom. Hvaležen sem prijateljem in prijateljicam! Omeniti pa moram še podjetja, ki so mi pomagala finančno z nudenjem dela preko pogodb ali študentskega dela: Henkel d. o. o., za dodaten vir dohodka s katerim sem si lahko privoščil stvari, ki si jih sicer ne bi mogel kupiti; EXOR-ETI, ki me je izbralo za kooperanta pri razvoju električnega avtomobila; VIP-VIRANT d. o. o., v katerem sem se posebej podučil o industrijski robotiki; In nazadnje hvala za navdih podjetjema Outfit7 Ltd, z njihovo eno najuspešnih iger za mobilne telefone na svetu TalkingTom ter podjetju Universal Studios, za zelo zabavne filmskei like»miniončki«. Podjetji sta me navdušili do te mere, da sem izdelal svojo igro, ki je mešanica omenjenih dveh TALKING MINIONS, ki jo tudi predstavljam v tej diplomski nalogi. Hvala vam! iv

5 Multimodalna komunikacija na mobilnem telefonu Ključne besede: multimodalna kominikacija na mobilnem telefonu, avdio, video, taktilna komunikacija UDK: (043.2) Povzetek V diplomski nalogi smo analizirali možnosti uporabe multimodalne komunikacije v okolju mobilnega telefona. Preverili smo prednosti in omejitve uporabe multimodalne komunikacije in zasnovali sistem multimodalne komunikacije v obliki igre. Cilj je bil zasnovati čim bolj učinkovit sistem z multimodalnostjo. Multimodalnost omogoča vizualno, slušno in taktilno komunikacijo. Razvili smo igro na mobilnem telefonu s sistemom Android in preverili učinkovitost multimodalne komunikacije. v

6 Multimodalna komunikacija na mobilnem telefonu Multimodal communication on mobile phone Key words: multimodal communication on mobile phone, audio, video, tactile communication UDK: (043.2) Abstract In this thesis, we analyzed the potentials of multi-modal communication in the framework of mobile phone. We have reviewed advantages and limitations of multi-modal communication and designed multimodal communication system in a form of a game. The goal was to design an effective system that combines multimodal communication channels. Multimodality enables visual, auditory, and tactile communication. We have developed a game for mobile phone running Android operating system and verified the effectiveness of multi-modal communication implemented. vi

7 KAZALO 1 UVOD Predstavitev diplomskega dela in opredelitev problema Cilji in teze diplomskega dela Predpostavke in omejitve dioplomskega dela Predvidene metode diplomskega dela... 2 MODALNOST KOMUNIKACIJE Modalnost komunikacije na mobilnem telefonu Vizualna modalnost komunikacije Slušna modalnost komunikacije Taktilna modalnost komunikacije Primerjava modalnosti komunikacij Multimodalna komunikacija na mobilnem telefonu Zasnutek sistema Delovanje sistema Primerjava multi in eno-modalne komunikacije na mobilnem telefonu Primer multimodalne komunikacije na mobilnem telefonu Opis primera Rešitev problema Programska koda Meje sposobnosti multimodalne komunikacije na mobilnem telefonu Predlog razvoja multimodalne komunikacije na mobilnem telefonu... 3 UČINKOVITOST OBJAVE APLIKACIJE... 4 SKLEP... 5 LITERATURA... 6 PRILOGE vii

8 KAZALO SLIK SLIKA 2.1: PRIMER ENOSMERNE KOMUNIKACIJE Z VIZUALNO MODALNOSTJO KOMUNIKACIJE SLIKA 2.2: PRIMER ENOSMERNE KOMUNIKACIJE Z VIZUALNO MODALNOSTJO NA MOBILNEM TELEFONU... 7 SLIKA 2.3: SUDOKU AR SOLVER, APLIKACIJA ZA AVTOMATSKO REŠEVANJE SUDOKU KRIŽANK... 8 SLIKA 2.4: APLIKACIJA SVETILKA... 9 SLIKA 2.5: ZA VREME... 9 SLIKA 2.6: PRIMER ENOSMERNE KOMUNIKACIJE S SLUŠNO MODALNOSTJO SLIKA 2.7: PRIMER ENOSMERNE KOMUNIKACIJE S SLUŠNO MODALNOSTJO NA MOBILNEM TELEFONU SLIKA 2.8: APLIKACIJA SVETILKA SLIKA 2.9: ZA VREME SLIKA 2.10: PRIMER ENOSMERNE KOMUNIKACIJE S TAKTILNO MODALNOSTJO SLIKA 2.11: PRIMER ENOSMERNE KOMUNIKACIJE S TAKTILNO MODALNOSTJO SLIKA 2.12: IGRA CROSSY ROAD KOT IDEALEN PRIMER TAKTILNE MODALNOSTI SLIKA 2.13: SNAKE. NAJBOLJ IGRANA MOBILNA IGRA LETA SLIKA 2.14: ANGRYBIRDS, NAJBOLJ IGRANA IGRA LETA SLIKA 2.15: IGRA ZA PAMETNE MOBILNE TELEFONE POKEMONGO SLIKA 2.16: BLOKOVNA SHEMA ZASNUTKA MULTIMODALNE KOMUNIKACIJE NA MOBILNEM TELEFONU SLIKA 2.171: IKONA ECLIPSA SLIKA 2.18: OSNOVNA BLOK SHEMA IGRE SLIKA 2.18: PREDOGLED KONČNEGA PRODUKTA SLIKA 2.19: KREIRANJE LAYOUTA ALI FORME Z ZNAČILNIMI GRADNIKI SLIKA 2.20: UPORABNIŠKI VMESNIK RAZVOJNEGA OKOLJA SLIKA 2.21: IZVOZ APLIKACIJE SLIKA 2.22: IZBIRA PROJEKTA SLIKA 2.23: USTVARJANJE»KEYSTORE«DOKUMENTA viii

9 SLIKA 2.24: ZAPIS PODATKOV O LASTNIKU APLIKACIJE IN ČASA VELJ.CERTIFIKATA SLIKA 2.25: IZBIRA IMENA IN POTI APK PAKETA SLIKA 2.26: IKONA IGRE NA TELEFONU SLIKA 2.27: GLAVNI UPORABNIŠKI VMESNIK NAŠE IGRE SLIKA 2.28 UPORABNIŠKI VMESNIK GOOGLE PLAY-A SLIKA 2.29: PRVI KORAK OBJAVE NOVE APLIKACIJE SLIKA 2.30: PRIPENJANJE SLIK APLIKACIJE ZA RAZLIČNE PREDOGLEDE ix

10 KAZALO TABEL, GRAFOV in DIAGRAMOV GRAF 1: ODSTOTKI UPORABNIKOV MOBILNEGA TELEFONA GLEDE NA RAZLIČNE AKTIVNOSTI UPORABE GRAF 2: ODSTOTKI UPORABNIKOV MOBILNEGA TELEFONA GLEDE NA NAJPOGOSTEJŠI AKTIVNOST GRAF 2.3: TRŽNI DELEŽ OPERACIJSKIH SISTEMOV MOBILNIH TELEFONOV V SVETOVNEM MERILU TABELA 2.1: PRIMERJAVA MODALNOSTI KOMUNIKACIJE NA MOBILNEM TELEFONU TABELA 2.2: GLAVA WAV DOKUMENTA TABELA 2.3: OMEJITVE OZ MEJE SPOSOBNOSTI GRADNIKOV POSAMEZNIH MODALNOSTI KOMUNIKACIJE TABELA 2.4: TRŽNI DELEŽ OPERACIJSKIH SISTEMOV MOBILNIH TELEFONOV V SVETOVNEM MERILU DIAGRAM 2.1: DIAGRAM PREHAJANJA STANJ ZA DEFINIRANO IGRO x

11 UPORABLJENE KRATICE Kratica pomen Slovenski prevod A-GPS Assisted global positioning sistem Pomožni globalno pozicijski sistem SDK Software development kit Programsko razvojno okolje C# C sharp C lojtra FM radio Frequency modulation radio Frekvenčno moduliran radio SMS Short message service Storitev kratkih sporočil RAM Random access memory Spomin z naključnim dostopom MMS Multimedia messaging service Storitev multimedijskega obveščanja LED Light-emitting diode Svetlobno oddajna dioda APK Android application package Android programski paket xi

12 1 UVOD 1.1 Predstavitev diplomskega dela in opredelitev problema Z nenehnim razvojem mobilne komunikacije in tehnologij so mobilni telefoni tehnično zelo napredovali, tako da že zamenjujejo namizne in prenosne računalnike. Z razvojem multimodalne komunikacije na mobilnem telefonu so dane nove uporabniške izkušnje, ki dvigajo mobilne telefone na nov nivo, kamor namizni računalniki ne sežejo več. V diplomski nalogi smo predstavili pomen multimodalne komunikacije na mobilnem telefonu in razložili zakaj je prav multimodalna komunikacija trend razvoja mobilne komunikacije ter sledili zadanim ciljem naloge. Diplomsko delo zajema raziskave, analize, primerjave, dokumentacije, izdelek mobilno aplikacijo za mobilne telefone z Android operacijskim sistemom za demonstracijo multimodalne komunikacije ter na koncu analizo s predlogi nadaljnega razvoja. 1.2 Cilji in teze diplomskega dela Pri izdelavi diplomske naloge smo si zadali naslednje cilje: o Cilj 1: Raziskati razvoj multimodalne komunikacije na mobilnem telefonu o Cilj 2: Primerjati vrste modalnosti o Cilj 3: Dokumentirati prednosti in slabosti multimodalnosti o Cilj 4: Dokazati večjo uporabnost multimodalne komunikacije od enomodalne komunikacije o Cilj 5: Raziskati pomen multimodalne komunikacije na mobilnem telefonu o Cilj 6: Raziskati možnosti implementacije multimodalnosti o Cilj 7: Razviti igro za mobilni telefon z operacijskim sistemom ANDROID za demonstracijo multimodalne komunikacije o Cilj 8: Interprretirati uporabniške izkušnje multimodalne komunikacije na mobilnem telefonu 1

13 o o o o Cilj 9: Opisati postopke multimodalnosti Cilj 10: Raziskati in predlagati možnosti uporabe multimodalne komunikacije na mobilnem telefonu Cilj 11: Demonstrirati multimodalno komunikacijo na mobilnem telefonu in analizirati delovanje Cilj 12: Predlagati nadaljni razvoj multimodalne komunikacije na mobilnem telefonu Hipoteze, ki smo jih želeli dokazati so: o Hipoteza 1: Multimodalne komunikacije na mobilnem telefonu so izvedljive o Hipoteza 2: Multimodalne komunikacije so neprimerno boljše, kot enomodalne komunikacije o Hipoteza 3: Multimodalna komunikacija na mobilnem telefonu povečuje uporabnost mobilnih naprav in boljšo uporabniško izkušnjo o Hipoteza 4: Multimodalne komunikacije na mobilnem telefonu so trend razvoja mobilnih aplikacij 1.3 Predpostavke in omejitve diplomskega dela Pri diplomski nalogi smo določene zadeve predpostavljali vnaprej in predvidevali smo omejitve pri samem nastanku dela: o Omejitev 1: pregledali bomo le vire v slovenskem in angleškem jeziku o Omejitev 2: testirali bom le aplikacije za mobilni telefon z operacijskim sistemom Android (ne pa tudi za iphone, Windows Phone, Symbian) Znani so nam bili naslednji dejavniki in kriteriji: o Dejavnik 1: imeli bomo težave pri dostopanju do nekaterih podatkov o Dejavnik 2: težko bo primerjati določene podatke in rezultate o Dejavnik 3: Na razpolago imamo le telefon z operacijskim sistemom Android verzije 4.0 in tablico z Androidom verzije 4.1 2

14 1.4 Predvidene metode diplomskega dela Metode dela za dosego ciljev diplomskega dela so bile: o Raziskava o Primerjava o Eksperiment o Razvoj rešitve z multimodalno komunikacijo za mobilni telefon z operacijskim sistemom Android 3

15 2 MODALNOST KOMUNIKACIJE 2.1 Modalnost komunikacije na mobilnem telefonu Zapisi o prvem mobilnem telefonu segajo v čas druge svetovne vojne in sicer v leto 1940 [2]. Naprave so bile velike, težke, porabile so veliko energije in omrežje je podpiralo le nekaj simultanih pogovorov. Mobilni telefoni so postali dostopni širši javnosti komaj leta Danes smo lahko priča silnemu napredku v mobilni tehnologiji. Mobilni telefoni so postali manjši, lažji, masovno proizvedeni zaradi velikega povpraševanja in posledično cenejši, lažje dostopni (v Sloveniji so se mobilni telefoni začeli pojavljati leta 1996). Razvoj telefonov je strm in telefonom so dodali večje zaslone, barvne zaslone, vključili senzorje, kot je naprimer kamera, fotoaparat, GPS (Global Positioning System, globalno pozicijski sistem), merilec pospeška, merilec svetlobe in drugo. Zaradi dodanih senzorjev so telefonom vgradili nove možnosti uporabniške izkušnje in telefone ne uporabljamo več le za klicanje, ampak jih koristimo tudi za vsa naslednja opravila: - opravljanje telefonskih razogovorov, - pošiljanje SMS-ov in MMS-ov, - fotografiranje in snemanje videoposnetkov, - brskanje po spletu, - igranje iger. Opravljenja je bila anketa [4], s katero smo ugotovili za kaj se uporabljajo mobilni telefoni. Pri anketiranju je sodelovalo 52 ljudi, od tega 18 moških in 34 žensk. Vsi anketiranci s starostjo do 50 let. Anketa je bila izvedena v 13 dneh. Rezultate ankete podaja slika

16 Slika 2.1: Odstotki uporabnikov mobilnega telefona glede na različne aktivnosti uporabe Iz slike 2.1 lahko razberemo, da vsi anketiranci koristijo telefon kot multifunkcijsko napravo in koristijo vse zmogljivosti telefona, to je pisanje kratkih sporočil, fotografiranje, brskanje po spletu in najmanj prisotno za igranje iger. Slika 2.2: Odstotki uporabnikov mobilnega telefona glede na najpogostejšo aktivnost Na podlagi anketnih vprašanj smo tudi ugotavljali, za katero aktivnost anketiranci najpogosteje uporabljajo mobilni telefon. Rezultate podaja slika 2.2 [4]. Pridobili smo podatek, da največ anketirancev, to je približno 45 odstotkov vseh vprašanih, uporablja mobilni telefon predvsem za opravljanje klicev, približno 25 odstotkov anketirancev uporablja telefon predvsem za pošiljanje SMS (Short message service, Storitev kratkih sporočil) ali MMS (Multimedia messaging service, Storitev multimedijskega obveščanja). Približno 25 odstotkov anketirancev uporablja mobilni telefon predvsem za fotografiranje in snemanje videoposnetkov in malo manj za igranje iger in približno 5 odstotkov predvsem za brskanje po spletu. Rezultati ankete kažejo na povpraševanje po boljši uporabniški izkušnji in na uporabo telefona za več aktivnosti. Lahko rečemo, da je mobilni telefon sprejet kot miniaturni prenosni računalnik. Vsaka aktivnost na mobilnem telefonu nudi komunikacijo. Komunikacije pa lahko delimo med drugim na smer in predmet komuniciranja: človek - stroj, na primer ko vnašamo podatke v telefon stroj - človek, na primer ko stroj posreduje podatke, informacije 5

17 človek - stroj - človek, na primer ko komuniciramo z drugimi preko telefona človek stroj stroj, na primer ko vnašamo podatke v telefon, telefon pa posreduje podatke drugi napravi, na primer strežniku V osnovi so vse komunikacije multimodalne. Uporabljamo jezik, geste, telesne poze in ostale neverbalne načine komunikacije, po eno naenkrat ali pa istočasno [2]. Multimodalnosti je več in jih delimo v tri glavne skupine: vizualna modalnost komunikacije, slušna modalnost komunikacije, taktilna modalnost komunikacije. Vsaka modalnost komunikacije ima določene specifične značilnosti, ki jo ločijo od ostalih modalnosti komunikacije. Razlika med njimi je le v načinu vnosa vhodnih podatkov ali prikazu izhodnih podatkov. 6

18 2.1.1 Vizualna modalnost komunikacije Vizualna modalnost komunikacije je določena z vizualnim načinom komuniciranja, zmožnostjo vizualnega sprejemanja in vizualnega posredovanja informacij. Ta komunikacija spada med neverbalno komunikacijo. Za prejem informacij koristimo sliko zaslona, za oddajo pa prikaz na zaslonu mobilnega telefona, kot na sliki 2.3. vizualna modalnost komunikacije Oddajanje informacije z: poza telesa, gesta, način hoje... (npr. nasmeh) Prejemanje informacije z: vid Slika 2.3: Primer enosmerne komunikacije z vizualno modalnostjo komunikacije vizualna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: Vibriranje Senzor pritiska Slika 2.4: Primer enosmerne komunikacije z vizualno modalnostjo komunikacije na mobilnem telefonu 7

19 Za mobilne telefone so razvite aplikacije, ki uporabljajo izključno vizualno modalnost. Primer take aplikacije je Sudoku AR solver. Aplikacijo zaženemo in odpre se kamera s predogledom slike. V kolikor pogled kamere usmerimo na sudoku križanko, jo aplikacija zazna in avtomatsko izpolni prazna polja s pravilnimi rešitvami.tako vidimo rezultat križanke z 9 krat 9 polji slika 2.5. Je odličen primer uporabe vizualne modalnosti. Slika 2.5: Sudoku AR solver, aplikacija za avtomatsko reševanje sudoku križank Drugi primer aplikacije z vizualno modalnostjo je aplikacija svetilka (slika 2.6), ki ob pritisku na navidezno stikalo svetilke vklopi ali izklopi LED mobilnega telefona. Tretji primer aplikacije, ki predstavlja vizualno modalnost je aplikacija za vreme (Slika 2.7). Ta vizualno podaja informacije o trenutnem vremenu in predikcijo vremena za naslednje dni. 8

20 Slika 2.6: Aplikacija svetilka Slika 2.7: Aplikacija za vreme 9

21 2.1.2 Avdio modalnost komunikacije Avdio modalnost komunikacije je določena s slušnim načinom komuniciranja, z zmožnostjo slušnega zaznavanja in zvočnega oddajanja informacij. Ta komunikacija spada med verbalno komunikacijo. Za prejem informacij koristimo mikrofon, za oddajo pa zvočnik. slušna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: oddajanje zvoka, govor, sluh predvajanje glasbe... (npr. pozdrav zdravo ) Slika 2.8: Primer enosmerne komunikacije z avdio modalnostjo komunikacije slušna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: zvočnik mikrofon (npr. predvajanje glasbe) Slika 2.9: Primer enosmerne komunikacije z avdio modalnostjo komunikacije na mobilnem telefonu 10

22 Največkrat uporabljena mobilna aplikacija, ki uporablja avdio modalnost je predvajalnik glasbe. Ta uporablja slušno modalnost za izhod. Njeno nasprotje pa je snemalnik zvoka, ki koristi avdio modalnost za vhod. Ker je pri takšni aplikaciji pomemben tudi podatek o dolžini snemanja oziroma trenuten čas predvajanja, je takšnim aplikacijam dodana tudi izhodna vizualna modalnost. Slika 2.10: Snemalnik zvoka Slika 2.11: Predvajalnik glasbe 11

23 2.1.3 Taktilna modalnost komunikacije Taktilna modalnost komunikacije je določena s taktilnim načinom komuniciranja, z zmožnostjo zaznavanja vibracij, tresljajev in taktilnega oddajanja informacij, naprimer z dotikom, pritiskom, udarcem. Ta komunikacija spada med neverbalno komunikacijo. taktilna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: pritisk, udarec... otip, zaznavanje pritiska ali (npr. pritisk tipke) udarca Slika 2.12: Primer enosmerne komunikacije s taktilno modalnostjo komunikacije (človekčlovek) taktilna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije s: Vibrator telefona senzor pritiska (tudi lokacija pritiska) Slika 2.13: Primer enosmerne komunikacije s taktilno modalnostjo komunikacije na mob. telefonu 12

24 Primer taktilne modalnosti komunikacije je igra Crossy Road, pri kateri s pritiskanjem na zaslon določamo kdaj naj osrednji lik igre skoči na naslednje polje in tako prečka ceste. Igra ima tudi vizualno modalnost, saj uporabniku vizualno posreduje podatek o napredku igralca. Slika 2.14: Igra Crossy road je idealen primer taktilne modalnosti Primer taktilne modalnosti je tudi uporabna aplikacija na mobilnem telefonu, to je enostaven program za vklop LED luču na zadnjem delu mobilnega telefona. S pritiskom na stikalo svetilke vklopimo ali izklopimo LED svetilko mobilnega telefona Primerjava modalnosti komunikacij Modalnosti komunikacije lahko primerjamo in sicer po vrsti prenosnega medija, najbolj pa nas zanima hitrost zaznavanja oz. zmožnost hitrosti sporočanja in hitrost prejemanja oziroma tolmačenja prejetih informacij. V tabeli 2.1 smo primerjali vrste modalnosti komunikacije na mobilnem telefonu in ocenili hitrost posameznega dela, ki neposredno vpliva na ustrezno vrsto modalnosti. Primerjali smo tudi gradnike po pomembnosti, saj je pri mobilnem telefonu nepogrešljiv zaslon, kar ga uvršča na prvo mesto po pomembnosti pri vizualni komunikaciji na mobilnem telefonu. Znano je, da je hitrost nekega sistema določena z najšibkejšim členom oziroma z najpočasnejšim elementom, tako da moramo biti posebej pozorni na gradnike sistema, ki so najpočasnejši oziroma zahtevajo največ procesorskega časa našega sistema oziroma mobilnega telefona. 13

25 Vrsta modalnosti komunikacije Vh/izh modalnost gradnik HITROST, ODZIVNOST (1 najhitrejša, 7 POMEMBNOST, POGREŠLJIVOST (1 najbolj, 7 najmanj) najpočasnejša) Vizualna vhodna kamera 7 5 Vizualna izhodna Zaslon 4 1 LED 5 7 Avdio vhodna mikrofon 2 3 Avdio izhodna zvočnik 3 2 Taktilna vhodna Senzor 1 4 pritiska Taktilna izhodna vibrator 6 6 Tabela 2.1: Primerjava modalnosti komunikacije na mobilnem telefonu 2.2 Multimodalna komunikacija na mobilnem telefonu Leta 1994 je bila predstavljena prva igra na mobilnem telefonu, in sicer tetris. Prvič so to igro vključili na telefonu Hagenuk MT Tri leta kasneje, leta 1997, je podjetje Nokia razvilo zelo znano igro Snake. Izgled igre kaže slika Igra je bila prednaložena na telefone, in sicer na več kot 400 milijonov naprav po vsem svetu, kar jo je naredilo za najbolj igrano mobilno igro tistega časa [5]. Leta 2016 pa je na prvem mestu po številu naloženih mobilnih iger na mobilnih telefonih z Android operacijskim sistemom AngryBirds, katere izgled prikazuje slika 2.16 [6]. Slika 2.15: Snake, najbolj igrana mobilna igra leta

26 Slika 2.16: AngryBirds, najbolj igrana igra leta 2016 Omenjeni igri Snake in AngryBirds vključujeta multimodalno komuniciranje, saj taktilna modalnost komunikacije za vnos smeri (levo, desno, gor, dol), vizualna modalnost komunikacije pa služi za povratno informacijo uporabniku o novi lokaciji lika kače. Igre so izrazit primer multimodalne komunikacije na mobilnem telefonu. Multimodalna komunikacija opisuje kompleksno obnašanje sistema v povezavi z več senzoričnimi kanali ali modalnostmi [3]. Multimodalna komunikacija na mobilnem telefonu je prisotna že od same iznajdbe telefona. Uporabljena je vsaj taktilna in avdio modalnost. Ko uporabnik mobilnega telefona s pritiskom na tipke izbere klicočega (taktilna modalnost), po vzpostavljeni povezavi komunicira na podlagi avdio modalnosti. Z indikacijo klica na zaslonu telefona je v komunikacijo vključena vizualna modalnost komunikacije. Tako rečemo, da gre v tem primeru za multimodalnost, ko je v komunikacijo vključenih več modalnosti. V kolikor se uporabi več vrst modalnosti komunikacij, je tako omogočena boljša uporabniška izkušnja. Trend razvoja mobilnih aplikacij je uporabiti čim več modalnosti komunikacije [1]. Multimodalni vmesniki so grajeni za obravnajvanje več vhodnih in izhodnih modalnosti, na primer govor, mimika obraza, gestika rok, sintetiziran govor in podobno, z namenom izboljšati uporabniško izkušnjo in interaktivnost. Boljša uporabniška izkušnja znatno poveča vrednost določenega sistema, saj je takšno upravljanje lažje in boljše. Na trgu se 15

27 je v letu 2016 pojavila zelo znana mobilna igra za pametne telefone PokemonGo, ki vključuje več modalnosti in je postala velik hit posebej zaradi vključene multimodalnosti [8]. V le prvem mesecu si je igro naložilo 100 milijonov uporabnikov [7]. Slika 2.17: Igra za pametne mobilne telefone PokemonGo 16

28 2.2.1 Zasnova sistema multimodalne komunikacije Poglejmo si enostaven sistem multimodalne komunikacije na mobilnem telefonu, ki predvaja glasbo z videom in izpisuje čas predvajanja slika Začetek predvajanja je določen s pritiskom na tipko predvajaj. Za taktilno modalnost komunikacije je uporabljen gumb s senzorjem pritiska, za avdio modalnost komunikacije je uporabljen zvočnik in za vizualno modalnost komunikacije je uporabljen zaslon mobilnega telefona. Slika 2.18: Blokovna shema zasnovane multimodalne komunikacije na mobilnem telefonu 17

29 2.2.2 Delovanje sistema Zasnova enostavnega sistema z multimodalno komunikacjo z mobilnim telefonom je prikazana na sliki Ob pritisku na tipko predvajaj se aktivira predvajanje glasbe. Pritisk na tipko predstavlja taktilno modalnost komunikacije. Predvajanje glasbe na zvočniku predstavlja avdio modalnost komunikacije. Hkrati ob pritisku na tipko za predvajanje se predvaja tudi video vsebina glasbe in izpisuje trenutni čas na zaslonu mobilnega telefona. Slednji del predstavlja vizualno modalnost komunikacije. V predstavljenem sistemu so vključene 3 modalnosti komunikacije in tako lahko rečemo, da gre v omenjenem sistemu za multimodalno komunikacijo. 2.3 Primerjava multi in eno-modalne komunikacije na mobilnem telefonu Enomodalna komunikacija na mobilnem telefonu uporablja le eno modalnost, medtem ko multimodalna komunikacija uporablja vsaj dve modalnosti komunikacije. Večje število uporabljenih modalnosti komunikacije omogoča boljšo uporabniško izkušnjo in je zato tudi pogosteje uporabljena oziroma enomodalna komunikacija kot sama nastopi le v primeru vizualne modalnosti, ko se na zaslonu izpišejo informacije. Ker je multimodalna komunikacija na mobilnem telefonu tema pričujoče diplomske naloge, bomo v nadaljevanju obravnavali izveden praktični primer multimodalne komunikacije na mobilnem telefonu. 18

30 2.4 Primer multimodalne komunikacije na mobilnem telefonu Zasnovali smo sistem, ki uporablja vizualno, slušno in taktilno modalnost komunikacije, zato lahko rečemo, da smo izdelali sistem z multimodalno komunikacijo Opis primera Kot primer aplikacije, ki uporablja multimodalno komunikacijo smo zasnovali igro za pametni mobilni telefon z operacijskim sistemom Android. Ob zagonu igre naj se prikaže animacija lika miniona (številka animacije 0 od 10 razpoložljivih animacij) in naj se predvaja zvočni posnetek prve animacije. Ob pritisku na lik miniona naj se predvaja druga animacija. Vsak naslednji pritisk na lik miniona proži naslednjo animacijo, vse do 10-te animacije. Ob ponovnem pritisku se ponovi predvajanje animacije miniona pod zaporedno številko 0. Sistem ima še gumb za snemanje zvočnega posnetka na zunanjo microsd kartico. Ob pritisku se prične snemanje zvoka in ob pritisku na isto tipko se snemanje ustavi. Dodan je še gumb za predvajanje zvočnega posnetka. Ob ponovnem pritisku na slednji gumb in ob daljšem zvočnem posnetku pa naj se predvajanje ustavi. Dodali smo še funkcijo spremembe glasu posneteka zvočnega posnetka. To smo dosegli na preprost način tako, da zvočni posnetek vzorčen s 10kHz s širino kvantizacije 16 bitov predvajamo s 15kb/s Rešitev problema Igro za pametni mobilni telefon z operacijskim sistemom android smo načrtovali v programskem paketu Eclipse (Slika 2.19), naložiti pa smo morali še ADT (Android Development Tools, Android razvojni pripomoček), ki je razvojno okolje za aplikacije za operacijski sistem android. 19

31 Slika 2.19: Ikona razvojnega okolja Eclipse Pred izvedbo zasnovanega sistema multimodalne komunikacije smo analizirali zahteve igre, ki smo jo želeli implementirati. Igro smo razdelili na več funkcionalnosti oziroma na več delov in potem realizirali vsakega posebej, na koncu pa implementirali ustrezne povezave. 4. Pritisk 1. Pritisk na gumb na lik Ustavi trenutno Animacijo Predvajana animacija 10. Ustavi predvajanje 5.Oddan zvok 7. Predvajaj naslednjo 11. Predvajaj zvok animacijo 2. Pritisk na gumb 8. Posnemi 12. Spremeni in shrani zvočni posnetek podatek o hitrosti predvajanja 9. Ustavi snemanje 3. Pritisk na gumb Slika 2.20: Osnovna blok shema igre 20

32 Blok 1, 2, 3 in 4 spadajo pod vhodno taktilno modalnost Blok 5 spada pod izhodno avdio modalnost Blok 13 predstavlja čas, ko se predvaja animacija, kar spada pod vizualno modalnost Ostali elementi so funkcije oz. programske aktivnosti. V nbadaljevanju smo izpeljali diagram prehajanja stanj za igro pritisk na lik 0. animacija 1. animacija Diagram 2.1: Diagram prehajanja stanj za definirano igro V začetnih korakih programiranja kode smo v programu Eclipse izdelali tako imenovani layout, ki določa izgled igre. V oknu s predogledom lahko vidimo dejanski izgled igre, ko bo prevedena v končni produkt. 21

33 22

34 Slika 2.22: Kreiranje Layouta ali forme z značilnimi gradniki Na layout oziroma našo formo smo vstavili besedilni element ali Textview, slikovni element ImageView, v katerem je glavni lik igre in v katerem se izvajajo animacije in še 2 gumba, tako imenovana button1 in button2. Slika 2.23 prikazuje uporabniški vmesnik razvojnega okolja, kjer smo programirali igro. Na levi strani so mape virov na sredini je razdelek za programsko kodo, na desni pa je seznam rutin. Slika 2.23: Uporabniški vmesnik razvojnega okolja 23

35 2.4.3 Programska koda Programsko kodo smo pisali v JAVI za mobilni telefon z operacijskim sistemom Android. Program smo predhodno že razdelili na več delov, glede na Sliko Zdaj je bilo na vrsti kodiranje in test posameznih delov. Najprej smo sprogramirali dogodek ob pritisku na gumb. Primer sintakse kode, ki kliče subrutino animate(), ko uporabnik pritisne na gumb z imenom»button1«: ////////////////////////////// final Button b33a = (Button)this.findViewById(R.id.button1); b33a.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { //koda ob pritisku stevilka_animacije=2; animate(); } }); /////////////////////////// Dalje smo testirali enako funkcionalnost, le da funkcijo kličemo ob pritisku na ImageView oziroma element, ki vsebuje lik: ////////////////////////////// final Button b33b = (Button)this.findViewById(R.id.ImageView); b33b.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { //koda ob pritisku na ImageView stevilka_animacije=2; animate(); } }); /////////////////////////// 24

36 Naslednja naloga je bila sprogramirati del, ki bo skrbel za animacijo. Želeli smo, da se v gradniku ImageView naloži slikovni element tipa gif in da se predvaja s ponovitvijo v neskončnost. Koda, ki v slikovnem elementu imageview1 zamenja slikovni vir z virom d10, je naslednja: /////////////////////////////////////////////////////////////////////// ImageView imgview = (ImageView)findViewById(R.id.imageView1); imgview.setvisibility(imageview.visible); imgview.setimageresource(r.drawable.d5); imgview.setbackgroundresource(r.drawable.d10); /////////////////////////////////////////////////////////////////////// Dalje smo implementirali del, ki v slikovnem viru predvaja animacijo, kar je v blok shemi označeno s številko 7: /////////////////////////////////////////////////////////////////////// private void animate() { ImageView imgview = (ImageView)findViewById(R.id.imageView1); imgview.setvisibility(imageview.visible); if (stevilka_animacije==1) {imgview.setbackgroundresource(r.drawable.frame_animation);} else if(stevilka_animacije==2) {imgview.setbackgroundresource(r.drawable.frame_animation2);} else if(stevilka_animacije==3) {imgview.setbackgroundresource(r.drawable.frame_animation3);} else if(stevilka_animacije==4) {imgview.setbackgroundresource(r.drawable.frame_animation4);} AnimationDrawable frameanimation = (AnimationDrawable) imgview.getbackground(); if (frameanimation.isrunning()) { frameanimation.stop(); } else { frameanimation.stop(); frameanimation.start(); int_stevec=int_stevec+1; } }/////////////////////////////////////////////////////////////////////// 25

37 Programska koda je sestavljena tako, da predvaja animacijo glede na to, v katerem stanju smo oziroma se vsakič predvaja druga animacija v zaporedju. V kodi opazimo, da se sklicujemo na vir frame_animation, ki pa je v bistvu seznam slikovnih datotek, s podatkom, koliko časa naj prikazuje določeno sliko. Izgled dokumenta frame_animation je naslednji: <animation-list xmlns:android=" android:oneshot="false"> <item android:drawable="@drawable/d1" android:duration="10" /> <item android:drawable="@drawable/d2" android:duration="10" /> <item android:drawable="@drawable/d3" android:duration="10" /> <item android:drawable="@drawable/d4" android:duration="10" /> <item android:drawable="@drawable/d5" android:duration="10" /> <item android:drawable="@drawable/d6" android:duration="10" /> <item android:drawable="@drawable/d7" android:duration="10" /> <item android:drawable="@drawable/d8" android:duration="10" /> <item android:drawable="@drawable/d9" android:duration="10" /> <item android:drawable="@drawable/d10" android:duration="10" /> </animation-list> Opazimo, da ima tudi zastavico tipa boolean, ki označuje, ali neko zaporedje predvaja le enkrat ali pa predvajanje ponavlja. Naslednji korak je implementacija 11. dela programa. To je koda, ki poskrbi, da se predvaja določena zvočna datoteka. Sintaksa za predvajanje dokumenta heja.mp3 ob pritisku na button4 je: //predvajaj zvok //////////////////////////////////////////////////////// ////////////////////////////// final Button b4 = (Button)this.findViewById(R.id.button4); b4.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { MediaPlayer mediaplayer = MediaPlayer.create(getBaseContext(), R.raw.heja); mediaplayer.start(); mediaplayer.setoncompletionlistener(new OnCompletionListener() { public void oncompletion(mediaplayer player) { //KAJ NAREDIM KO KONČAM S PREDVAJANJEM???!?!? player.stop(); player.release(); } }); } }); //////////////////////////////////////////////////////////////////////// 26

38 Sintaksa za ustavitev predvajanja zvočne datoteke, ki je v blok shemi označena pod zaporedno številko 10, je naslednja: //////////////////////////////////////////////////////////////////////// mplayer2.pause(); mplayer2.stop(); mplayer2.release();//ko zapreš naj se sprosti predvajalnik... //////////////////////////////////////////////////////////////////////// Ostala sta še dva bloka in sicer za zajemanje zvoka (zaznavamo pritisk na gumb button1 ) in spreminjanje hitrosti vzorčenja, da dobimo iluzijo spremembe glasu. Ideja je vzorčiti z določeno hitrostjo, predvajati pa z drugo, da ustvarimo spremembo glasu. V vsaki zvočni datoteki formata WAV je podatek kakšna je frekvenca vzorčenja. Glej tabelo 2.1. To vrednost smo spremenili na višjo vrednost, kar je povzročilo hitrejše predvajanje in posledično višji glas. Zvok se v igri zajema le z vzorci v formatu RAW, kar pomeni, da gre le za vzorce. Programsko potem pretvorimo format RAW v format zapisa zvoka WAV. Razlika med RAW in WAV je v tem, da ima zvočni zapis v format WAV na začetku dokumenta glavo dolžine 44bajtov. Zapis opisuje naslednja tabela [10]: Pozicij vrednost vzorca Opis 1-4 "RIFF" označuje dokument kot riff. znaki so dolžine 1 byte 5-8 velikost dokumenta (integer) velikost celotnega dokumenta - 8 bytes, in bytes (32-bit integer). običajno se to izpolni po kreaciji dokumenta 9-12 "WAVE" glava tipa dokumenta "WAVE" "fmt " marker formata dolžina podatkov v tem formatu format (1 is PCM) - 2 byte integer število kanalov - 2 byte integer Sample Rate - 32 byte integer. najpogostejše vrednosti so (CD), (DAT). hitrost vzorčenja = število vzorcev na sek ali hertzi (vzorčenje * bitov na vzorec* kanalov) / bitov na vzorec (Bitov na vzorec * kanalov) / bit mono2-8 bit stereo/16 bit mono4-16 bit stereo "data" označuje začetek podatkovne sekcije velikost dokumenta (data) velikost podatkovne sekcije Vzorčne vrednosti so dane za 16-bitni stereo vhod 27

39 Tabela 2.2: Glava zvočne datoteke WAV Programska koda, s katero zapisujemo glavo datoteke WAV: output = new DataOutputStream(new FileOutputStream(waveFile)); // WAVE header writestring(output, "RIFF"); // chunk id writeint(output, 36 + rawdata.length); // chunk size writestring(output, "WAVE"); // format writestring(output, "fmt "); // subchunk 1 id writeint(output, 16); // subchunk 1 size writeshort(output, (short) 1); // audio format (1 = PCM) writeshort(output, (short) 1); // number of channels writeint(output, SAMPLE_RATE2); // sample rate writeint(output, SAMPLE_RATE2 * 2); // byte rate writeshort(output, (short) 2); // block align writeshort(output, (short) 16); // bits per sample writestring(output, "data"); // subchunk 2 id writeint(output, rawdata.length); // subchunk 2 size // Audio data (conversion big endian -> little endian) //8+8 bit je en vzorec! Ko smo realizirali vse programske dele, smo jih morali pravilno povezati. Ta del je bil izveden le z dodajanjem klicev subrutin na ustrezna mesta, kot jih določa slika Ko smo vse povezali, je bil na vrsti test. Če smo želeli prenseti igro na mobilni telefon, smo morali program najprej prevesti v format APK, Android Application Package. Pred prevajanjem programa smo morali v tako imenovanem dokumentu Android Manifest vključiti naslednji dve vrsti, s katerima smo od uporabnika pridobili zahtevani dovoljenji za zapis dokumenta na zunanjo spominsko kartico in zahtevano dovoljenje za snemanje zvoka. /> <uses-permission android:name="android.permission.record_audio" /> <uses-permission android:name="android.permission.write_external_storage" 28

40 Za začetek kreiranja igre v primernem formatu za mobilni telefon, moramo najprej v imeniku izbrati možnost za izvoz oziroma Export Android Application (Slika 2.24), Slika 2.24: Izvoz aplikacije V naslednjem koraku izberemo projekt, ki ga želimo izvoziti Slika 2.25: Izbira projekta 29

41 Sledi ustvarjanje dokumenta»keystore«, ki omogoča nalaganje novih verzij istega programa. Brez tega dokumenta sicer ne bo mogoče objavljati popravkov. Slika 2.26: Ustvarjanje dokumenta»keystore«slika 2.27: Zapis podatkov o lastniku aplikacije in časa veljavnosti certifikata 30

42 Zadnji korak pri kreaciji dokumenta APK. V tem koraku izberemo pot in ime dokumenta. Izgled končnega produkta, po instalaciji na ciljnem sistemu, izgleda, kot kaže slika 2.28 in Slika 2.28: Izbira imena in poti paketa APK Slika 2.29: Ikona igre na telefonu 31

43 Slika 2.29: Glavni uporabniški vmesnik izvedene igre 32

44 2.5 Meje sposobnosti multimodalne komunikacije na mobilnem telefonu Glavni del mobilnega telefona, ki omogoča multimodalno komunikacijo, so senzorji in gradniki, ki so značilni za določeno modalnost. Ker imajo ti gradniki in senzorji omejitve delovanja, je posledično omejena multimodalna komunikacija celotnega sistema. Vrsta modalnosti vrsta gradnik OMEJITEV komunikacije gradnika Vizualna sprejemni kamera Resolucija in hitrost Vizualna oddajni Zaslon Velikost LED Svetilnost (<500lm) Slušna sprejemni mikrofon Občutljivost Slušna oddajni zvočnik Glasnost Taktilna sprejemni Senzor pritiska Neučinkovit na neznatne pritiske in občutljiv na znatne pritiske in padce Taktilna oddajni vibrator Daljša uporaba vibratorja ni zdrava Tabela 2.3: Omejitve oz meje sposobnosti gradnikov posameznih modalnosti komunikacije 2.6 Predlog razvoja multimodalne komunikacije na mobilnem telefonu Multimodalna komunikacija na mobilnem telefonu je neposredno odvisna od sestavnih delov mobilnega telefona, to je, katere senzorične elemente ima. Z vgrajeno kamero in barvnim zaslonom je omogočena vizualna modalnost komunikacije, z vgrajenim mikrofonom in zvočnikom je omogočena avdio modalnost komunikacije, z vgrajenim vibratorjem in senzorjem pritiska je omogočena taktilna modalnost komunikacije. Razvoj modalnosti je torej mogoč, v kolikor mobilnemu telefonu dodamo nove senzorske elemente ali pa da ugotovimo nove načine uporabe že vgrajenih senzorskih elementov. Cilj razvoja multimodalne komunikacije je izboljšati uporabniško izkušnjo. 33

45 3 UČINKOVITOST OBJAVE APLIKACIJE V tem poglavju pa smo se spraševali kako učinkovita je objava aplikacije na Google Play, namreč ne le da obstaja veliko število različnih tiplov mobilnih telefonov, ampak imajo lahko tudi različne operacijske sisteme. Aplikacijo, ki smo jo generirali, pa deluje le za operacijski sistem Android, ne pa na telefonih s sistemom IOS, WINDOWS, SYMBIAN. Kako je razširjen določen mobilni operacijski sistem podaja slika Slika 2.31: Tržni delež operacijskih sistemov mobilnih telefonov v svetovnem merilu [11] 34

46 sistem obdobje ANDROID ios WinPhone 2. četrtletje % 16.6% 3.1% 2. četrtletje % 12.9% 3.4% 2. četrtletje % 10.6% 2.5% 2. četrtletje % 13.9% 2.6% Tabela 2.4: Tržni delež operacijskih sistemov mobilnih telefonov v svetovnem merilu [11] Analiza je pokazala, da je tržni delež operacijskega sistema Android daleč najbolj razširjen. Android OS je približno 3-krat bolj razširjen kot ios in 20-krat bolj kot WinPhone. Izvedena multimodalna komunikacija v mobilni aplikaciji je učinkovita in daje odlične rezultate, saj je interaktivnost aplikacije na visokem nivoju. V izdelani aplikaciji so vključene pričakovane modalnosti: - vizualna (izhodna; predvajajo se animacije) - avdio (izhodna; igra predvaja zvočne efekte) - taktilna (vhodna; s pritiskom na lik prožimo naslednjo animacijo) 35

47 4 SKLEP Tekom izdelave diplomskega dela smo se podrobno spoznali z vrstami multimodalnosti komunikacije, s prednostmi in slabostmi. Ugotovili smo, da je vizualna modalnost komunikacije najbolj pomembna, zato smo se ji posebej posvetili pri izdelavi igre. Z vključitvijo multimodalne komunikacije v igri dosežemo boljšo uporabniško izkušnjo. Prihodnost iger je v uporabi vse več multimodalnosti. 36

48 5 LITERATURA 1 MULTIMODAL INTERACTION. Wikipedia. Dostopmno na naslovu: [avgust 2016] 2 History of mobile phones. Wikipedia. Dostopno na naslovu: [avgust 2016] 3 Issues in the Classification of Multimodal Communication Signals. Dostopno na naslovu: _tab_contents [avgust 2016] 4 Anketa: Multimodalna komunikacija na mobilnem telefonu. 1ka. Dostopno na naslovu: [avgust 2016] 5 10 things you didn t know about mobile. Dostopno na naslovu: [avgust 2016] 6 AngryBirds. Dostopno na naslovu: (video_game) [avgust 2016] 7 Mlakar, Izidor. Ekspresivni model generiranja pogovornega obnašanja v multimodalnih uporabniških vmesnikih. Maribor, Fakulteta za elektrotehniko, računalništvo in informatiko, februar Best mobile games. Dostopno na naslovu: [avgust 2016] 9 GooglePlayDeveloperConsole. Dostopno na naslovu: [avgust 2016] 10 Wav (RIFF) File Format Tutorial. Dostopno na naslovu: [avgust 2016] 11 Zupan, Uroš. Izdelava mobilne storitve za portal FERI na platformi Windows Phone. [avgust 2016] 37

49 6 PRILOGE - Anketa - Izjava o avtorstvu - Izjsvs o ustreznosti zaključnega dela - Izjava o istovetnosti tiskane in elektronske verzije zaključnega dela in objavi osebnih podatkov diplomantov 38

50 39

51 40

52 41

53 42