MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU

Podobni dokumenti
Navodila za uporabo Mini snemalnik

Navodila za uporabo Mini prenosna HD kamera s snemalnikom

Microsoft Word - CNR-MPV2 Quick Guide_SI

TNUV Lab

Slide 1

TNUV Lab5

Poročilo za 1. del seminarske naloge- igrica Kača Opis igrice Kača (Snake) je klasična igrica, pogosto prednaložena na malce starejših mobilnih telefo

Folie 1

Navodila za dostavo oglasnih materialov na TV Slovenija Marec 2017

Document ID / Revision : 0519/1.3 ID Issuer System (sistem izdajatelja identifikacijskih oznak) Navodila za registracijo gospodarskih subjektov

Računalniški praktikum Projektna naloga - Izdelava spletne strani Avtor: Matej Tekavčič Skupina: Matej Tekavčič - koordinator Simon Vrhovnik Tine Kavč

Zbornica zdravstvene in babiške nege Slovenije Zveza strokovnih društev medicinskih sester, babic in zdravstvenih tehnikov Slovenije Stanje:

311520_-an-01-sl-_Ion_profile_ekpress

NEVTRIN d.o.o. Podjetje za razvoj elektronike, Podgorje 42a, 1241 Kamnik, Slovenia Telefon: Faks.: in

1 MMK - Spletne tehnologije Vaja 5: Spletni obrazci Vaja 5 : Spletni obrazci 1. Element form Spletni obrazci so namenjeni zbiranju uporabniških podatk

Slide 1

Microsoft Word - CNC obdelava kazalo vsebine.doc

Elektronska pošta

(Microsoft Word - U\350enje telegrafije po Kochovi metodi.doc)

Navodila za nastavitev mail odjemalca na ios in Android napravah TELEFONI iphone (ios 12) Predlagamo, da do svoje študentske e-pošte dostopate s pomoč

NAVODILA ZA UPORABO Smart watch JW018 POZOR! Ura vsebuje magnetne sestavine. Osebe z vgrajenim srčnim spodbujevalnikom (pacemaker) ali kakršnimi drugi

BYOB Žogica v vesolju Besedilo naloge Glavna ideja igre je paziti, da žoga ne pade na tla igralne površine, pri tem pa zbrati čim več točk. Podobno ig

Spletno raziskovanje

Untitled 2

RAM stroj Nataša Naglič 4. junij RAM RAM - random access machine Bralno pisalni, eno akumulatorski računalnik. Sestavljajo ga bralni in pisalni

Gimnazija Bežigrad Peričeva Ljubljana OPERACIJSKI SISTEM Predmet: informatika

MT40X Kratka navodila

docx

an-01-sl-Plantronics_K100_Bluetooth_prostoročni_sistem

Analiza vpliva materiala, maziva in aktuatorja na dinamiko pnevmatičnega ventila

Safety and Regulatory Information

PRO Navodila za uporabo Ta priročnik je namenjen DOOGEE-X / 08/24 z mednarodno različico programske opreme. Pri nadgradnji so nekatere značilnos

Vgrajeni sistemi Uvod & ponovitev C

SLO - NAVODILO ZA NAMESTITEV IN UPORABO Št. izd. : HD AKCIJSKA KAMERA MIDLAND XTREME XTC 200 Št. izdelka:

Watch 40_MT40X_UM_SL.pdf

Microsoft Word doc

D3 V2 brosura net

INTERAKTIVNE REŠITVE PROMETHEAN

an-01-Racunalniski_zvocniki_Hercules_XPS_2.1_Bassboost.docx

Microsoft Word - Brosura neobvezni IP

Slide 1

Sistemi Daljinskega Vodenja Vaja 3 Matej Kristan Laboratorij za Strojni Vid Fakulteta za elektrotehniko, Univerza v Ljubl

Microsoft Word - M docx

Navodila za uporabo aplikacije mlist - neposredni mentorji za Zdravniško zbornico Slovenije pripravila Gooya, interaktivni mediji, d.o.o. Ljubljana, m

Protokoli v računalniškem komuniciranju TCP, IP, nivojski model, paket informacij.

INFORMATOR BIROKRAT 1/2011

D3GO brosura julij_mail

ZAČETNI VODNIK ZA POVEZAVO Izkusite prilagojeno nego perila z aplikacijo My AEG Care. Pralni stroj lahko povežete in upravljate od koder koli in preje

Kazalne naprave in tipkovnica Uporabniški priročnik

Navodila za uporabo programske opreme OTRS verzija Administracijska navodila Avtor navodil: Sebastijan Šilec Datum: December 2007 Center odprte

Vaja 2 Virtualizacija fizičnih strežnikov in virtualni PC A. Strežnik Vmware ESX Namestitev strežnika VMware ESX 3.5 na fizični strežnik 2. Nas

Diapozitiv 1

Priročnik za uporabnika SLO _09

NAVODILA ZA UPORABO K01-WIFI Hvala, ker ste se odločili za nakup našega izdelka. Pred uporabo enote skrbno preberite ta Navodila za uporabo in jih shr

Microsoft PowerPoint - ads

VPELJAVA MDM V DRŽAVEM ZBORU MATJAŽ ZADRAVEC

scratch

NAVODILA ZA UPORABO myphone TANGO

SharePoint GRADNIKI ZA IZBOLJŠANE UPORABNIŠKE IZKUŠNJE

BDV-N890W/BDV-N790W

DES

ISOFT , računalniški inženiring

Univerza v Ljubljani FAKULTETA ZA RAČUNALNIŠTVO IN INFORMATIKO Tržaška c. 25, 1000 Ljubljana Realizacija n-bitnega polnega seštevalnika z uporabo kvan

UNIVERZA V LJUBLJANI FAKULTETA ZA RAČUNALNIŠTVO IN INFORMATIKO Miroslav Matijević Miselna igra za platformo Google Cardboard DIPLOMSKO DELO VISOKOŠOLS

No Slide Title

Microsoft Word - Brosura neobvezni IP 2018

INFORMACIJSKO KOMUNIKACIJSKE TEHNOLOGIJE ŠTUDIJ INFORMACIJSKO KOMUNIKACIJSKIH TEHNOLOGIJ

Microsoft Word - SLO_priprava.docx

NAVODILA ZA MONTAŽO SI EWPE SMART Wi-FI app

Uporabniški priročnik za aplikacije resound.com

CD190/195 Slovenian Quick start guide

Microsoft Word - ELEKTROTEHNIKA2_ junij 2013_pola1 in 2

Predlog stališča Republike Slovenije

Microsoft Word - M docx

Microsoft Word - CNR-MPV4A quick guide_SI

Vaja 3 Kopiranje VM in namestitev aplikacij - strežnik SQL 2000 SP3a A. Lokalni strežnik Vmware ESX Dodajanje uporabnikov vajexx v skupino Vaje

Prekinitveni način delovanja PLK Glavni program (OB1; MAIN) se izvaja ciklično Prekinitev začasno ustavi izvajanje glavnega programa in zažene izvajan

PowerPointova predstavitev

ThiEYE i60+ 4K športna kamera Navodila za uporabo

Zapisnik 1

Možno je, da nekateri podatki v tem priročniku ne veljajo za vaš telefon. To je odvisno od nameščene programske opreme in vašega omrežnega operaterja.

Microsoft Word - CNR-BTU3_Bluetooth_vmesnik

Da bo komunikacija z gluho osebo hitreje stekla

Turingov stroj in programiranje Barbara Strniša Opis in definicija Definirajmo nekaj oznak: Σ abeceda... končna neprazna množica simbolo

Miluma Trader Miluma Trader navodila: V nadaljevanju sledijo osnovna navodila, kako začeli uporabljati Miluma Trader. 1. Preverite spletno stran Ta po

B5310-SL.book

an-01-USB_digitalni_zvocniki_Logitech_S-150.docx

PowerPointova predstavitev

GHOSTBUSTERS navodila za učitelje O PROJEKTU S tem projektom se učenci sami naučijo izdelati igro. Ustvariti morajo več ikon (duhcov ali kaj drugega)

DZS, d. d. Spoštovani, pred vami je vzorčno poglavje dnevnih priprav. Priprave so uporabnikom na voljo v celoti in v obliki, ki omogoča urejanje in pr

Microsoft Word - SPIDER-X5_User Manual - EN_0320.docx

II-RIS-Primer Seminarske Naloge Redni-LJ

Microsoft Word - ELEKTROTEHNIKA2_11. junij 2104

Navodila za pripravo oglasov na strani Med.Over.Net v 2.2 Statistično najboljši odziv uporabnikov je na oglase, ki hitro in neposredno prenesejo osnov

Microsoft Word - Posebni pogoji za uporabo storitev Google _DONE_.doc

SLO - NAVODILO ZA UPORABO IN MONTAŽO Št

Brezplačno učenje zaposlenim in brezposelnim od 2018 do 2022 omogočata Ministrstvo za izobraževanje, znanost in šport ter Evropska unija iz Evropskega

Najboljša skupaj Kontrola pristopa + registracija delovnega časa

ELEKTRONIKA ŠTUDIJ ELEKTRONIKE

Transkripcija:

NASLOVNA STRAN DIPLOMSKEGA DELA UNIVERZA V MARIBORU FAKULTETA ZA ELEKTROTEHNIKO, RAČUNALNIŠTVO IN INFORMATIKO Gregor Šeško MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU Diplomsko delo Maribor, avgust 2016

MULTIMODALNA KOMUNIKACIJA NA MOBILNEM TELEFONU Diplomsko delo Študent(ka): Študijski program: Smer: Mentor(ica): Gregor Šeško Univerzitetni, Elektrotehnika Elektronika red. prof. dr. Zdravko Kačič II

I

Multimodalna komunikacija na mobilnem telefonu ZAHVALA Zahvaljujem se mentorju prof. dr. Zdravku Kačiču za pomoč pri nastajanju diplomskega dela. Hvaležen sem vsem profesorjem in asistentom za deljenje znanja, ki sem ga z veseljem sprejemal. Zelo sem vesel, da so bila vsa znanja podana zelo jasno in razumljivo. Naučil sem se, da je zelo pomembno, da imamo za učitelja nekoga, ki ima resnično védenje. Vesel sem, da sem za študij izbral Fakulteto za elektrotehniko, računalništvo in informatiko Univerze v Mariboru. Srčno se zahvaljujem očetu, mami in sestri Anji za vso pomoč in podporo, ki so mi jo nudili tekom študija in pri sami izdelavi diplomske naloge. Hvala tudi sorodnikom. Hvaležen sem prijateljem in prijateljicam! Omeniti pa moram še podjetja, ki so mi pomagala finančno z nudenjem dela preko pogodb ali študentskega dela: Henkel d. o. o., za dodaten vir dohodka s katerim sem si lahko privoščil stvari, ki si jih sicer ne bi mogel kupiti; EXOR-ETI, ki me je izbralo za kooperanta pri razvoju električnega avtomobila; VIP-VIRANT d. o. o., v katerem sem se posebej podučil o industrijski robotiki; In nazadnje hvala za navdih podjetjema Outfit7 Ltd, z njihovo eno najuspešnih iger za mobilne telefone na svetu TalkingTom ter podjetju Universal Studios, za zelo zabavne filmskei like»miniončki«. Podjetji sta me navdušili do te mere, da sem izdelal svojo igro, ki je mešanica omenjenih dveh TALKING MINIONS, ki jo tudi predstavljam v tej diplomski nalogi. Hvala vam! iv

Multimodalna komunikacija na mobilnem telefonu Ključne besede: multimodalna kominikacija na mobilnem telefonu, avdio, video, taktilna komunikacija UDK: 621.397.7-026.26(043.2) Povzetek V diplomski nalogi smo analizirali možnosti uporabe multimodalne komunikacije v okolju mobilnega telefona. Preverili smo prednosti in omejitve uporabe multimodalne komunikacije in zasnovali sistem multimodalne komunikacije v obliki igre. Cilj je bil zasnovati čim bolj učinkovit sistem z multimodalnostjo. Multimodalnost omogoča vizualno, slušno in taktilno komunikacijo. Razvili smo igro na mobilnem telefonu s sistemom Android in preverili učinkovitost multimodalne komunikacije. v

Multimodalna komunikacija na mobilnem telefonu Multimodal communication on mobile phone Key words: multimodal communication on mobile phone, audio, video, tactile communication UDK: 621.397.7-026.26(043.2) Abstract In this thesis, we analyzed the potentials of multi-modal communication in the framework of mobile phone. We have reviewed advantages and limitations of multi-modal communication and designed multimodal communication system in a form of a game. The goal was to design an effective system that combines multimodal communication channels. Multimodality enables visual, auditory, and tactile communication. We have developed a game for mobile phone running Android operating system and verified the effectiveness of multi-modal communication implemented. vi

KAZALO 1 UVOD... 1.1 Predstavitev diplomskega dela in opredelitev problema... 1.2 Cilji in teze diplomskega dela... 1.3 Predpostavke in omejitve dioplomskega dela... 1.4 Predvidene metode diplomskega dela... 2 MODALNOST KOMUNIKACIJE... 2.1 Modalnost komunikacije na mobilnem telefonu... 2.1.1 Vizualna modalnost komunikacije... 2.1.2 Slušna modalnost komunikacije... 2.1.3 Taktilna modalnost komunikacije... 2.1.4 Primerjava modalnosti komunikacij... 2.2 Multimodalna komunikacija na mobilnem telefonu... 2.2.1 Zasnutek sistema... 2.2.2 Delovanje sistema... 2.3 Primerjava multi in eno-modalne komunikacije na mobilnem telefonu... 2.4 Primer multimodalne komunikacije na mobilnem telefonu... 2.4.1 Opis primera... 2.4.2 Rešitev problema... 2.4.3 Programska koda... 2.5 Meje sposobnosti multimodalne komunikacije na mobilnem telefonu... 2.6 Predlog razvoja multimodalne komunikacije na mobilnem telefonu... 3 UČINKOVITOST OBJAVE APLIKACIJE... 4 SKLEP... 5 LITERATURA... 6 PRILOGE... 1 1 1 2 3 4 4 7 10 12 13 14 17 18 18 19 19 19 24 33 33 34 36 37 38 vii

KAZALO SLIK SLIKA 2.1: PRIMER ENOSMERNE KOMUNIKACIJE Z VIZUALNO MODALNOSTJO KOMUNIKACIJE.... 7 SLIKA 2.2: PRIMER ENOSMERNE KOMUNIKACIJE Z VIZUALNO MODALNOSTJO NA MOBILNEM TELEFONU... 7 SLIKA 2.3: SUDOKU AR SOLVER, APLIKACIJA ZA AVTOMATSKO REŠEVANJE SUDOKU KRIŽANK... 8 SLIKA 2.4: APLIKACIJA SVETILKA... 9 SLIKA 2.5: ZA VREME... 9 SLIKA 2.6: PRIMER ENOSMERNE KOMUNIKACIJE S SLUŠNO MODALNOSTJO.... 10 SLIKA 2.7: PRIMER ENOSMERNE KOMUNIKACIJE S SLUŠNO MODALNOSTJO NA MOBILNEM TELEFONU.... 10 SLIKA 2.8: APLIKACIJA SVETILKA... 11 SLIKA 2.9: ZA VREME... 11 SLIKA 2.10: PRIMER ENOSMERNE KOMUNIKACIJE S TAKTILNO MODALNOSTJO... 12 SLIKA 2.11: PRIMER ENOSMERNE KOMUNIKACIJE S TAKTILNO MODALNOSTJO... 12 SLIKA 2.12: IGRA CROSSY ROAD KOT IDEALEN PRIMER TAKTILNE MODALNOSTI... 13 SLIKA 2.13: SNAKE. NAJBOLJ IGRANA MOBILNA IGRA LETA 1997.... 14 SLIKA 2.14: ANGRYBIRDS, NAJBOLJ IGRANA IGRA LETA 2016.... 15 SLIKA 2.15: IGRA ZA PAMETNE MOBILNE TELEFONE POKEMONGO.... 16 SLIKA 2.16: BLOKOVNA SHEMA ZASNUTKA MULTIMODALNE KOMUNIKACIJE NA MOBILNEM TELEFONU.... 20 SLIKA 2.171: IKONA ECLIPSA... 19 SLIKA 2.18: OSNOVNA BLOK SHEMA IGRE... 15 SLIKA 2.18: PREDOGLED KONČNEGA PRODUKTA.... 15 SLIKA 2.19: KREIRANJE LAYOUTA ALI FORME Z ZNAČILNIMI GRADNIKI... 22 SLIKA 2.20: UPORABNIŠKI VMESNIK RAZVOJNEGA OKOLJA....23 SLIKA 2.21: IZVOZ APLIKACIJE.... 29 SLIKA 2.22: IZBIRA PROJEKTA.... 29 SLIKA 2.23: USTVARJANJE»KEYSTORE«DOKUMENTA.... 30 viii

SLIKA 2.24: ZAPIS PODATKOV O LASTNIKU APLIKACIJE IN ČASA VELJ.CERTIFIKATA.... 30 SLIKA 2.25: IZBIRA IMENA IN POTI APK PAKETA.... 31 SLIKA 2.26: IKONA IGRE NA TELEFONU.... 32 SLIKA 2.27: GLAVNI UPORABNIŠKI VMESNIK NAŠE IGRE.... 33 SLIKA 2.28 UPORABNIŠKI VMESNIK GOOGLE PLAY-A.... 34 SLIKA 2.29: PRVI KORAK OBJAVE NOVE APLIKACIJE.... 35 SLIKA 2.30: PRIPENJANJE SLIK APLIKACIJE ZA RAZLIČNE PREDOGLEDE.... 36 ix

KAZALO TABEL, GRAFOV in DIAGRAMOV GRAF 1: ODSTOTKI UPORABNIKOV MOBILNEGA TELEFONA GLEDE NA RAZLIČNE AKTIVNOSTI UPORABE.... 4 GRAF 2: ODSTOTKI UPORABNIKOV MOBILNEGA TELEFONA GLEDE NA NAJPOGOSTEJŠI AKTIVNOST.... 5 GRAF 2.3: TRŽNI DELEŽ OPERACIJSKIH SISTEMOV MOBILNIH TELEFONOV V SVETOVNEM MERILU.... 38 TABELA 2.1: PRIMERJAVA MODALNOSTI KOMUNIKACIJE NA MOBILNEM TELEFONU.... 14 TABELA 2.2: GLAVA WAV DOKUMENTA.... 27 TABELA 2.3: OMEJITVE OZ MEJE SPOSOBNOSTI GRADNIKOV POSAMEZNIH MODALNOSTI KOMUNIKACIJE.... 33 TABELA 2.4: TRŽNI DELEŽ OPERACIJSKIH SISTEMOV MOBILNIH TELEFONOV V SVETOVNEM MERILU... 39 DIAGRAM 2.1: DIAGRAM PREHAJANJA STANJ ZA DEFINIRANO IGRO.... 21 x

UPORABLJENE KRATICE Kratica pomen Slovenski prevod A-GPS Assisted global positioning sistem Pomožni globalno pozicijski sistem SDK Software development kit Programsko razvojno okolje C# C sharp C lojtra FM radio Frequency modulation radio Frekvenčno moduliran radio SMS Short message service Storitev kratkih sporočil RAM Random access memory Spomin z naključnim dostopom MMS Multimedia messaging service Storitev multimedijskega obveščanja LED Light-emitting diode Svetlobno oddajna dioda APK Android application package Android programski paket xi

1 UVOD 1.1 Predstavitev diplomskega dela in opredelitev problema Z nenehnim razvojem mobilne komunikacije in tehnologij so mobilni telefoni tehnično zelo napredovali, tako da že zamenjujejo namizne in prenosne računalnike. Z razvojem multimodalne komunikacije na mobilnem telefonu so dane nove uporabniške izkušnje, ki dvigajo mobilne telefone na nov nivo, kamor namizni računalniki ne sežejo več. V diplomski nalogi smo predstavili pomen multimodalne komunikacije na mobilnem telefonu in razložili zakaj je prav multimodalna komunikacija trend razvoja mobilne komunikacije ter sledili zadanim ciljem naloge. Diplomsko delo zajema raziskave, analize, primerjave, dokumentacije, izdelek mobilno aplikacijo za mobilne telefone z Android operacijskim sistemom za demonstracijo multimodalne komunikacije ter na koncu analizo s predlogi nadaljnega razvoja. 1.2 Cilji in teze diplomskega dela Pri izdelavi diplomske naloge smo si zadali naslednje cilje: o Cilj 1: Raziskati razvoj multimodalne komunikacije na mobilnem telefonu o Cilj 2: Primerjati vrste modalnosti o Cilj 3: Dokumentirati prednosti in slabosti multimodalnosti o Cilj 4: Dokazati večjo uporabnost multimodalne komunikacije od enomodalne komunikacije o Cilj 5: Raziskati pomen multimodalne komunikacije na mobilnem telefonu o Cilj 6: Raziskati možnosti implementacije multimodalnosti o Cilj 7: Razviti igro za mobilni telefon z operacijskim sistemom ANDROID za demonstracijo multimodalne komunikacije o Cilj 8: Interprretirati uporabniške izkušnje multimodalne komunikacije na mobilnem telefonu 1

o o o o Cilj 9: Opisati postopke multimodalnosti Cilj 10: Raziskati in predlagati možnosti uporabe multimodalne komunikacije na mobilnem telefonu Cilj 11: Demonstrirati multimodalno komunikacijo na mobilnem telefonu in analizirati delovanje Cilj 12: Predlagati nadaljni razvoj multimodalne komunikacije na mobilnem telefonu Hipoteze, ki smo jih želeli dokazati so: o Hipoteza 1: Multimodalne komunikacije na mobilnem telefonu so izvedljive o Hipoteza 2: Multimodalne komunikacije so neprimerno boljše, kot enomodalne komunikacije o Hipoteza 3: Multimodalna komunikacija na mobilnem telefonu povečuje uporabnost mobilnih naprav in boljšo uporabniško izkušnjo o Hipoteza 4: Multimodalne komunikacije na mobilnem telefonu so trend razvoja mobilnih aplikacij 1.3 Predpostavke in omejitve diplomskega dela Pri diplomski nalogi smo določene zadeve predpostavljali vnaprej in predvidevali smo omejitve pri samem nastanku dela: o Omejitev 1: pregledali bomo le vire v slovenskem in angleškem jeziku o Omejitev 2: testirali bom le aplikacije za mobilni telefon z operacijskim sistemom Android (ne pa tudi za iphone, Windows Phone, Symbian) Znani so nam bili naslednji dejavniki in kriteriji: o Dejavnik 1: imeli bomo težave pri dostopanju do nekaterih podatkov o Dejavnik 2: težko bo primerjati določene podatke in rezultate o Dejavnik 3: Na razpolago imamo le telefon z operacijskim sistemom Android verzije 4.0 in tablico z Androidom verzije 4.1 2

1.4 Predvidene metode diplomskega dela Metode dela za dosego ciljev diplomskega dela so bile: o Raziskava o Primerjava o Eksperiment o Razvoj rešitve z multimodalno komunikacijo za mobilni telefon z operacijskim sistemom Android 3

2 MODALNOST KOMUNIKACIJE 2.1 Modalnost komunikacije na mobilnem telefonu Zapisi o prvem mobilnem telefonu segajo v čas druge svetovne vojne in sicer v leto 1940 [2]. Naprave so bile velike, težke, porabile so veliko energije in omrežje je podpiralo le nekaj simultanih pogovorov. Mobilni telefoni so postali dostopni širši javnosti komaj leta 1980. Danes smo lahko priča silnemu napredku v mobilni tehnologiji. Mobilni telefoni so postali manjši, lažji, masovno proizvedeni zaradi velikega povpraševanja in posledično cenejši, lažje dostopni (v Sloveniji so se mobilni telefoni začeli pojavljati leta 1996). Razvoj telefonov je strm in telefonom so dodali večje zaslone, barvne zaslone, vključili senzorje, kot je naprimer kamera, fotoaparat, GPS (Global Positioning System, globalno pozicijski sistem), merilec pospeška, merilec svetlobe in drugo. Zaradi dodanih senzorjev so telefonom vgradili nove možnosti uporabniške izkušnje in telefone ne uporabljamo več le za klicanje, ampak jih koristimo tudi za vsa naslednja opravila: - opravljanje telefonskih razogovorov, - pošiljanje SMS-ov in MMS-ov, - fotografiranje in snemanje videoposnetkov, - brskanje po spletu, - igranje iger. Opravljenja je bila anketa [4], s katero smo ugotovili za kaj se uporabljajo mobilni telefoni. Pri anketiranju je sodelovalo 52 ljudi, od tega 18 moških in 34 žensk. Vsi anketiranci s starostjo do 50 let. Anketa je bila izvedena v 13 dneh. Rezultate ankete podaja slika 2.1. 4

Slika 2.1: Odstotki uporabnikov mobilnega telefona glede na različne aktivnosti uporabe Iz slike 2.1 lahko razberemo, da vsi anketiranci koristijo telefon kot multifunkcijsko napravo in koristijo vse zmogljivosti telefona, to je pisanje kratkih sporočil, fotografiranje, brskanje po spletu in najmanj prisotno za igranje iger. Slika 2.2: Odstotki uporabnikov mobilnega telefona glede na najpogostejšo aktivnost Na podlagi anketnih vprašanj smo tudi ugotavljali, za katero aktivnost anketiranci najpogosteje uporabljajo mobilni telefon. Rezultate podaja slika 2.2 [4]. Pridobili smo podatek, da največ anketirancev, to je približno 45 odstotkov vseh vprašanih, uporablja mobilni telefon predvsem za opravljanje klicev, približno 25 odstotkov anketirancev uporablja telefon predvsem za pošiljanje SMS (Short message service, Storitev kratkih sporočil) ali MMS (Multimedia messaging service, Storitev multimedijskega obveščanja). Približno 25 odstotkov anketirancev uporablja mobilni telefon predvsem za fotografiranje in snemanje videoposnetkov in malo manj za igranje iger in približno 5 odstotkov predvsem za brskanje po spletu. Rezultati ankete kažejo na povpraševanje po boljši uporabniški izkušnji in na uporabo telefona za več aktivnosti. Lahko rečemo, da je mobilni telefon sprejet kot miniaturni prenosni računalnik. Vsaka aktivnost na mobilnem telefonu nudi komunikacijo. Komunikacije pa lahko delimo med drugim na smer in predmet komuniciranja: človek - stroj, na primer ko vnašamo podatke v telefon stroj - človek, na primer ko stroj posreduje podatke, informacije 5

človek - stroj - človek, na primer ko komuniciramo z drugimi preko telefona človek stroj stroj, na primer ko vnašamo podatke v telefon, telefon pa posreduje podatke drugi napravi, na primer strežniku V osnovi so vse komunikacije multimodalne. Uporabljamo jezik, geste, telesne poze in ostale neverbalne načine komunikacije, po eno naenkrat ali pa istočasno [2]. Multimodalnosti je več in jih delimo v tri glavne skupine: vizualna modalnost komunikacije, slušna modalnost komunikacije, taktilna modalnost komunikacije. Vsaka modalnost komunikacije ima določene specifične značilnosti, ki jo ločijo od ostalih modalnosti komunikacije. Razlika med njimi je le v načinu vnosa vhodnih podatkov ali prikazu izhodnih podatkov. 6

2.1.1 Vizualna modalnost komunikacije Vizualna modalnost komunikacije je določena z vizualnim načinom komuniciranja, zmožnostjo vizualnega sprejemanja in vizualnega posredovanja informacij. Ta komunikacija spada med neverbalno komunikacijo. Za prejem informacij koristimo sliko zaslona, za oddajo pa prikaz na zaslonu mobilnega telefona, kot na sliki 2.3. vizualna modalnost komunikacije Oddajanje informacije z: poza telesa, gesta, način hoje... (npr. nasmeh) Prejemanje informacije z: vid Slika 2.3: Primer enosmerne komunikacije z vizualno modalnostjo komunikacije vizualna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: Vibriranje Senzor pritiska Slika 2.4: Primer enosmerne komunikacije z vizualno modalnostjo komunikacije na mobilnem telefonu 7

Za mobilne telefone so razvite aplikacije, ki uporabljajo izključno vizualno modalnost. Primer take aplikacije je Sudoku AR solver. Aplikacijo zaženemo in odpre se kamera s predogledom slike. V kolikor pogled kamere usmerimo na sudoku križanko, jo aplikacija zazna in avtomatsko izpolni prazna polja s pravilnimi rešitvami.tako vidimo rezultat križanke z 9 krat 9 polji slika 2.5. Je odličen primer uporabe vizualne modalnosti. Slika 2.5: Sudoku AR solver, aplikacija za avtomatsko reševanje sudoku križank Drugi primer aplikacije z vizualno modalnostjo je aplikacija svetilka (slika 2.6), ki ob pritisku na navidezno stikalo svetilke vklopi ali izklopi LED mobilnega telefona. Tretji primer aplikacije, ki predstavlja vizualno modalnost je aplikacija za vreme (Slika 2.7). Ta vizualno podaja informacije o trenutnem vremenu in predikcijo vremena za naslednje dni. 8

Slika 2.6: Aplikacija svetilka Slika 2.7: Aplikacija za vreme 9

2.1.2 Avdio modalnost komunikacije Avdio modalnost komunikacije je določena s slušnim načinom komuniciranja, z zmožnostjo slušnega zaznavanja in zvočnega oddajanja informacij. Ta komunikacija spada med verbalno komunikacijo. Za prejem informacij koristimo mikrofon, za oddajo pa zvočnik. slušna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: oddajanje zvoka, govor, sluh predvajanje glasbe... (npr. pozdrav zdravo ) Slika 2.8: Primer enosmerne komunikacije z avdio modalnostjo komunikacije slušna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: zvočnik mikrofon (npr. predvajanje glasbe) Slika 2.9: Primer enosmerne komunikacije z avdio modalnostjo komunikacije na mobilnem telefonu 10

Največkrat uporabljena mobilna aplikacija, ki uporablja avdio modalnost je predvajalnik glasbe. Ta uporablja slušno modalnost za izhod. Njeno nasprotje pa je snemalnik zvoka, ki koristi avdio modalnost za vhod. Ker je pri takšni aplikaciji pomemben tudi podatek o dolžini snemanja oziroma trenuten čas predvajanja, je takšnim aplikacijam dodana tudi izhodna vizualna modalnost. Slika 2.10: Snemalnik zvoka Slika 2.11: Predvajalnik glasbe 11

2.1.3 Taktilna modalnost komunikacije Taktilna modalnost komunikacije je določena s taktilnim načinom komuniciranja, z zmožnostjo zaznavanja vibracij, tresljajev in taktilnega oddajanja informacij, naprimer z dotikom, pritiskom, udarcem. Ta komunikacija spada med neverbalno komunikacijo. taktilna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije z: pritisk, udarec... otip, zaznavanje pritiska ali (npr. pritisk tipke) udarca Slika 2.12: Primer enosmerne komunikacije s taktilno modalnostjo komunikacije (človekčlovek) taktilna modalnost komunikacije Oddajanje informacije z: Prejemanje informacije s: Vibrator telefona senzor pritiska (tudi lokacija pritiska) Slika 2.13: Primer enosmerne komunikacije s taktilno modalnostjo komunikacije na mob. telefonu 12

Primer taktilne modalnosti komunikacije je igra Crossy Road, pri kateri s pritiskanjem na zaslon določamo kdaj naj osrednji lik igre skoči na naslednje polje in tako prečka ceste. Igra ima tudi vizualno modalnost, saj uporabniku vizualno posreduje podatek o napredku igralca. Slika 2.14: Igra Crossy road je idealen primer taktilne modalnosti Primer taktilne modalnosti je tudi uporabna aplikacija na mobilnem telefonu, to je enostaven program za vklop LED luču na zadnjem delu mobilnega telefona. S pritiskom na stikalo svetilke vklopimo ali izklopimo LED svetilko mobilnega telefona. 2.1.4 Primerjava modalnosti komunikacij Modalnosti komunikacije lahko primerjamo in sicer po vrsti prenosnega medija, najbolj pa nas zanima hitrost zaznavanja oz. zmožnost hitrosti sporočanja in hitrost prejemanja oziroma tolmačenja prejetih informacij. V tabeli 2.1 smo primerjali vrste modalnosti komunikacije na mobilnem telefonu in ocenili hitrost posameznega dela, ki neposredno vpliva na ustrezno vrsto modalnosti. Primerjali smo tudi gradnike po pomembnosti, saj je pri mobilnem telefonu nepogrešljiv zaslon, kar ga uvršča na prvo mesto po pomembnosti pri vizualni komunikaciji na mobilnem telefonu. Znano je, da je hitrost nekega sistema določena z najšibkejšim členom oziroma z najpočasnejšim elementom, tako da moramo biti posebej pozorni na gradnike sistema, ki so najpočasnejši oziroma zahtevajo največ procesorskega časa našega sistema oziroma mobilnega telefona. 13

Vrsta modalnosti komunikacije Vh/izh modalnost gradnik HITROST, ODZIVNOST (1 najhitrejša, 7 POMEMBNOST, POGREŠLJIVOST (1 najbolj, 7 najmanj) najpočasnejša) Vizualna vhodna kamera 7 5 Vizualna izhodna Zaslon 4 1 LED 5 7 Avdio vhodna mikrofon 2 3 Avdio izhodna zvočnik 3 2 Taktilna vhodna Senzor 1 4 pritiska Taktilna izhodna vibrator 6 6 Tabela 2.1: Primerjava modalnosti komunikacije na mobilnem telefonu 2.2 Multimodalna komunikacija na mobilnem telefonu Leta 1994 je bila predstavljena prva igra na mobilnem telefonu, in sicer tetris. Prvič so to igro vključili na telefonu Hagenuk MT-2000. Tri leta kasneje, leta 1997, je podjetje Nokia razvilo zelo znano igro Snake. Izgled igre kaže slika 2.15. Igra je bila prednaložena na telefone, in sicer na več kot 400 milijonov naprav po vsem svetu, kar jo je naredilo za najbolj igrano mobilno igro tistega časa [5]. Leta 2016 pa je na prvem mestu po številu naloženih mobilnih iger na mobilnih telefonih z Android operacijskim sistemom AngryBirds, katere izgled prikazuje slika 2.16 [6]. Slika 2.15: Snake, najbolj igrana mobilna igra leta 1997 14

Slika 2.16: AngryBirds, najbolj igrana igra leta 2016 Omenjeni igri Snake in AngryBirds vključujeta multimodalno komuniciranje, saj taktilna modalnost komunikacije za vnos smeri (levo, desno, gor, dol), vizualna modalnost komunikacije pa služi za povratno informacijo uporabniku o novi lokaciji lika kače. Igre so izrazit primer multimodalne komunikacije na mobilnem telefonu. Multimodalna komunikacija opisuje kompleksno obnašanje sistema v povezavi z več senzoričnimi kanali ali modalnostmi [3]. Multimodalna komunikacija na mobilnem telefonu je prisotna že od same iznajdbe telefona. Uporabljena je vsaj taktilna in avdio modalnost. Ko uporabnik mobilnega telefona s pritiskom na tipke izbere klicočega (taktilna modalnost), po vzpostavljeni povezavi komunicira na podlagi avdio modalnosti. Z indikacijo klica na zaslonu telefona je v komunikacijo vključena vizualna modalnost komunikacije. Tako rečemo, da gre v tem primeru za multimodalnost, ko je v komunikacijo vključenih več modalnosti. V kolikor se uporabi več vrst modalnosti komunikacij, je tako omogočena boljša uporabniška izkušnja. Trend razvoja mobilnih aplikacij je uporabiti čim več modalnosti komunikacije [1]. Multimodalni vmesniki so grajeni za obravnajvanje več vhodnih in izhodnih modalnosti, na primer govor, mimika obraza, gestika rok, sintetiziran govor in podobno, z namenom izboljšati uporabniško izkušnjo in interaktivnost. Boljša uporabniška izkušnja znatno poveča vrednost določenega sistema, saj je takšno upravljanje lažje in boljše. Na trgu se 15

je v letu 2016 pojavila zelo znana mobilna igra za pametne telefone PokemonGo, ki vključuje več modalnosti in je postala velik hit posebej zaradi vključene multimodalnosti [8]. V le prvem mesecu si je igro naložilo 100 milijonov uporabnikov [7]. Slika 2.17: Igra za pametne mobilne telefone PokemonGo 16

2.2.1 Zasnova sistema multimodalne komunikacije Poglejmo si enostaven sistem multimodalne komunikacije na mobilnem telefonu, ki predvaja glasbo z videom in izpisuje čas predvajanja slika 2.18. Začetek predvajanja je določen s pritiskom na tipko predvajaj. Za taktilno modalnost komunikacije je uporabljen gumb s senzorjem pritiska, za avdio modalnost komunikacije je uporabljen zvočnik in za vizualno modalnost komunikacije je uporabljen zaslon mobilnega telefona. Slika 2.18: Blokovna shema zasnovane multimodalne komunikacije na mobilnem telefonu 17

2.2.2 Delovanje sistema Zasnova enostavnega sistema z multimodalno komunikacjo z mobilnim telefonom je prikazana na sliki 2.18. Ob pritisku na tipko predvajaj se aktivira predvajanje glasbe. Pritisk na tipko predstavlja taktilno modalnost komunikacije. Predvajanje glasbe na zvočniku predstavlja avdio modalnost komunikacije. Hkrati ob pritisku na tipko za predvajanje se predvaja tudi video vsebina glasbe in izpisuje trenutni čas na zaslonu mobilnega telefona. Slednji del predstavlja vizualno modalnost komunikacije. V predstavljenem sistemu so vključene 3 modalnosti komunikacije in tako lahko rečemo, da gre v omenjenem sistemu za multimodalno komunikacijo. 2.3 Primerjava multi in eno-modalne komunikacije na mobilnem telefonu Enomodalna komunikacija na mobilnem telefonu uporablja le eno modalnost, medtem ko multimodalna komunikacija uporablja vsaj dve modalnosti komunikacije. Večje število uporabljenih modalnosti komunikacije omogoča boljšo uporabniško izkušnjo in je zato tudi pogosteje uporabljena oziroma enomodalna komunikacija kot sama nastopi le v primeru vizualne modalnosti, ko se na zaslonu izpišejo informacije. Ker je multimodalna komunikacija na mobilnem telefonu tema pričujoče diplomske naloge, bomo v nadaljevanju obravnavali izveden praktični primer multimodalne komunikacije na mobilnem telefonu. 18

2.4 Primer multimodalne komunikacije na mobilnem telefonu Zasnovali smo sistem, ki uporablja vizualno, slušno in taktilno modalnost komunikacije, zato lahko rečemo, da smo izdelali sistem z multimodalno komunikacijo. 2.4.1 Opis primera Kot primer aplikacije, ki uporablja multimodalno komunikacijo smo zasnovali igro za pametni mobilni telefon z operacijskim sistemom Android. Ob zagonu igre naj se prikaže animacija lika miniona (številka animacije 0 od 10 razpoložljivih animacij) in naj se predvaja zvočni posnetek prve animacije. Ob pritisku na lik miniona naj se predvaja druga animacija. Vsak naslednji pritisk na lik miniona proži naslednjo animacijo, vse do 10-te animacije. Ob ponovnem pritisku se ponovi predvajanje animacije miniona pod zaporedno številko 0. Sistem ima še gumb za snemanje zvočnega posnetka na zunanjo microsd kartico. Ob pritisku se prične snemanje zvoka in ob pritisku na isto tipko se snemanje ustavi. Dodan je še gumb za predvajanje zvočnega posnetka. Ob ponovnem pritisku na slednji gumb in ob daljšem zvočnem posnetku pa naj se predvajanje ustavi. Dodali smo še funkcijo spremembe glasu posneteka zvočnega posnetka. To smo dosegli na preprost način tako, da zvočni posnetek vzorčen s 10kHz s širino kvantizacije 16 bitov predvajamo s 15kb/s. 2.4.2 Rešitev problema Igro za pametni mobilni telefon z operacijskim sistemom android smo načrtovali v programskem paketu Eclipse (Slika 2.19), naložiti pa smo morali še ADT (Android Development Tools, Android razvojni pripomoček), ki je razvojno okolje za aplikacije za operacijski sistem android. 19

Slika 2.19: Ikona razvojnega okolja Eclipse Pred izvedbo zasnovanega sistema multimodalne komunikacije smo analizirali zahteve igre, ki smo jo želeli implementirati. Igro smo razdelili na več funkcionalnosti oziroma na več delov in potem realizirali vsakega posebej, na koncu pa implementirali ustrezne povezave. 4. Pritisk 1. Pritisk na gumb na lik 13. 6. Ustavi trenutno Animacijo Predvajana animacija 10. Ustavi predvajanje 5.Oddan zvok 7. Predvajaj naslednjo 11. Predvajaj zvok animacijo 2. Pritisk na gumb 8. Posnemi 12. Spremeni in shrani zvočni posnetek podatek o hitrosti predvajanja 9. Ustavi snemanje 3. Pritisk na gumb Slika 2.20: Osnovna blok shema igre 20

Blok 1, 2, 3 in 4 spadajo pod vhodno taktilno modalnost Blok 5 spada pod izhodno avdio modalnost Blok 13 predstavlja čas, ko se predvaja animacija, kar spada pod vizualno modalnost Ostali elementi so funkcije oz. programske aktivnosti. V nbadaljevanju smo izpeljali diagram prehajanja stanj za igro pritisk na lik 0. animacija 1. animacija 0 1 2 3 4 5 10 9 8 7 6 Diagram 2.1: Diagram prehajanja stanj za definirano igro V začetnih korakih programiranja kode smo v programu Eclipse izdelali tako imenovani layout, ki določa izgled igre. V oknu s predogledom lahko vidimo dejanski izgled igre, ko bo prevedena v končni produkt. 21

22

Slika 2.22: Kreiranje Layouta ali forme z značilnimi gradniki Na layout oziroma našo formo smo vstavili besedilni element ali Textview, slikovni element ImageView, v katerem je glavni lik igre in v katerem se izvajajo animacije in še 2 gumba, tako imenovana button1 in button2. Slika 2.23 prikazuje uporabniški vmesnik razvojnega okolja, kjer smo programirali igro. Na levi strani so mape virov na sredini je razdelek za programsko kodo, na desni pa je seznam rutin. Slika 2.23: Uporabniški vmesnik razvojnega okolja 23

2.4.3 Programska koda Programsko kodo smo pisali v JAVI za mobilni telefon z operacijskim sistemom Android. Program smo predhodno že razdelili na več delov, glede na Sliko 2.21. Zdaj je bilo na vrsti kodiranje in test posameznih delov. Najprej smo sprogramirali dogodek ob pritisku na gumb. Primer sintakse kode, ki kliče subrutino animate(), ko uporabnik pritisne na gumb z imenom»button1«: ////////////////////////////// final Button b33a = (Button)this.findViewById(R.id.button1); b33a.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { //koda ob pritisku stevilka_animacije=2; animate(); } }); /////////////////////////// Dalje smo testirali enako funkcionalnost, le da funkcijo kličemo ob pritisku na ImageView oziroma element, ki vsebuje lik: ////////////////////////////// final Button b33b = (Button)this.findViewById(R.id.ImageView); b33b.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { //koda ob pritisku na ImageView stevilka_animacije=2; animate(); } }); /////////////////////////// 24

Naslednja naloga je bila sprogramirati del, ki bo skrbel za animacijo. Želeli smo, da se v gradniku ImageView naloži slikovni element tipa gif in da se predvaja s ponovitvijo v neskončnost. Koda, ki v slikovnem elementu imageview1 zamenja slikovni vir z virom d10, je naslednja: /////////////////////////////////////////////////////////////////////// ImageView imgview = (ImageView)findViewById(R.id.imageView1); imgview.setvisibility(imageview.visible); imgview.setimageresource(r.drawable.d5); imgview.setbackgroundresource(r.drawable.d10); /////////////////////////////////////////////////////////////////////// Dalje smo implementirali del, ki v slikovnem viru predvaja animacijo, kar je v blok shemi označeno s številko 7: /////////////////////////////////////////////////////////////////////// private void animate() { ImageView imgview = (ImageView)findViewById(R.id.imageView1); imgview.setvisibility(imageview.visible); if (stevilka_animacije==1) {imgview.setbackgroundresource(r.drawable.frame_animation);} else if(stevilka_animacije==2) {imgview.setbackgroundresource(r.drawable.frame_animation2);} else if(stevilka_animacije==3) {imgview.setbackgroundresource(r.drawable.frame_animation3);} else if(stevilka_animacije==4) {imgview.setbackgroundresource(r.drawable.frame_animation4);} AnimationDrawable frameanimation = (AnimationDrawable) imgview.getbackground(); if (frameanimation.isrunning()) { frameanimation.stop(); } else { frameanimation.stop(); frameanimation.start(); int_stevec=int_stevec+1; } }/////////////////////////////////////////////////////////////////////// 25

Programska koda je sestavljena tako, da predvaja animacijo glede na to, v katerem stanju smo oziroma se vsakič predvaja druga animacija v zaporedju. V kodi opazimo, da se sklicujemo na vir frame_animation, ki pa je v bistvu seznam slikovnih datotek, s podatkom, koliko časa naj prikazuje določeno sliko. Izgled dokumenta frame_animation je naslednji: <animation-list xmlns:android="http://schemas.android.com/apk/res/android" android:oneshot="false"> <item android:drawable="@drawable/d1" android:duration="10" /> <item android:drawable="@drawable/d2" android:duration="10" /> <item android:drawable="@drawable/d3" android:duration="10" /> <item android:drawable="@drawable/d4" android:duration="10" /> <item android:drawable="@drawable/d5" android:duration="10" /> <item android:drawable="@drawable/d6" android:duration="10" /> <item android:drawable="@drawable/d7" android:duration="10" /> <item android:drawable="@drawable/d8" android:duration="10" /> <item android:drawable="@drawable/d9" android:duration="10" /> <item android:drawable="@drawable/d10" android:duration="10" /> </animation-list> Opazimo, da ima tudi zastavico tipa boolean, ki označuje, ali neko zaporedje predvaja le enkrat ali pa predvajanje ponavlja. Naslednji korak je implementacija 11. dela programa. To je koda, ki poskrbi, da se predvaja določena zvočna datoteka. Sintaksa za predvajanje dokumenta heja.mp3 ob pritisku na button4 je: //predvajaj zvok //////////////////////////////////////////////////////// ////////////////////////////// final Button b4 = (Button)this.findViewById(R.id.button4); b4.setonclicklistener( new Button.OnClickListener() { public void onclick(view v) { MediaPlayer mediaplayer = MediaPlayer.create(getBaseContext(), R.raw.heja); mediaplayer.start(); mediaplayer.setoncompletionlistener(new OnCompletionListener() { public void oncompletion(mediaplayer player) { //KAJ NAREDIM KO KONČAM S PREDVAJANJEM???!?!? player.stop(); player.release(); } }); } }); //////////////////////////////////////////////////////////////////////// 26

Sintaksa za ustavitev predvajanja zvočne datoteke, ki je v blok shemi označena pod zaporedno številko 10, je naslednja: //////////////////////////////////////////////////////////////////////// mplayer2.pause(); mplayer2.stop(); mplayer2.release();//ko zapreš naj se sprosti predvajalnik... //////////////////////////////////////////////////////////////////////// Ostala sta še dva bloka in sicer za zajemanje zvoka (zaznavamo pritisk na gumb button1 ) in spreminjanje hitrosti vzorčenja, da dobimo iluzijo spremembe glasu. Ideja je vzorčiti z določeno hitrostjo, predvajati pa z drugo, da ustvarimo spremembo glasu. V vsaki zvočni datoteki formata WAV je podatek kakšna je frekvenca vzorčenja. Glej tabelo 2.1. To vrednost smo spremenili na višjo vrednost, kar je povzročilo hitrejše predvajanje in posledično višji glas. Zvok se v igri zajema le z vzorci v formatu RAW, kar pomeni, da gre le za vzorce. Programsko potem pretvorimo format RAW v format zapisa zvoka WAV. Razlika med RAW in WAV je v tem, da ima zvočni zapis v format WAV na začetku dokumenta glavo dolžine 44bajtov. Zapis opisuje naslednja tabela [10]: Pozicij vrednost vzorca Opis 1-4 "RIFF" označuje dokument kot riff. znaki so dolžine 1 byte 5-8 velikost dokumenta (integer) velikost celotnega dokumenta - 8 bytes, in bytes (32-bit integer). običajno se to izpolni po kreaciji dokumenta 9-12 "WAVE" glava tipa dokumenta "WAVE". 13-16 "fmt " marker formata 17-20 16 dolžina podatkov v tem formatu 21-22 1 format (1 is PCM) - 2 byte integer 23-24 2 število kanalov - 2 byte integer 25-28 44100 Sample Rate - 32 byte integer. najpogostejše vrednosti so 44100 (CD), 48000 (DAT). hitrost vzorčenja = število vzorcev na sek ali hertzi 29-32 176400 (vzorčenje * bitov na vzorec* kanalov) / 8. 33-34 4 35-36 16 bitov na vzorec (Bitov na vzorec * kanalov) / 8.1-8 bit mono2-8 bit stereo/16 bit mono4-16 bit stereo 37-40 "data" označuje začetek podatkovne sekcije 41-44 velikost dokumenta (data) velikost podatkovne sekcije Vzorčne vrednosti so dane za 16-bitni stereo vhod 27

Tabela 2.2: Glava zvočne datoteke WAV Programska koda, s katero zapisujemo glavo datoteke WAV: output = new DataOutputStream(new FileOutputStream(waveFile)); // WAVE header writestring(output, "RIFF"); // chunk id writeint(output, 36 + rawdata.length); // chunk size writestring(output, "WAVE"); // format writestring(output, "fmt "); // subchunk 1 id writeint(output, 16); // subchunk 1 size writeshort(output, (short) 1); // audio format (1 = PCM) writeshort(output, (short) 1); // number of channels writeint(output, SAMPLE_RATE2); // sample rate writeint(output, SAMPLE_RATE2 * 2); // byte rate writeshort(output, (short) 2); // block align writeshort(output, (short) 16); // bits per sample writestring(output, "data"); // subchunk 2 id writeint(output, rawdata.length); // subchunk 2 size // Audio data (conversion big endian -> little endian) //8+8 bit je en vzorec! Ko smo realizirali vse programske dele, smo jih morali pravilno povezati. Ta del je bil izveden le z dodajanjem klicev subrutin na ustrezna mesta, kot jih določa slika 2.20. Ko smo vse povezali, je bil na vrsti test. Če smo želeli prenseti igro na mobilni telefon, smo morali program najprej prevesti v format APK, Android Application Package. Pred prevajanjem programa smo morali v tako imenovanem dokumentu Android Manifest vključiti naslednji dve vrsti, s katerima smo od uporabnika pridobili zahtevani dovoljenji za zapis dokumenta na zunanjo spominsko kartico in zahtevano dovoljenje za snemanje zvoka. /> <uses-permission android:name="android.permission.record_audio" /> <uses-permission android:name="android.permission.write_external_storage" 28

Za začetek kreiranja igre v primernem formatu za mobilni telefon, moramo najprej v imeniku izbrati možnost za izvoz oziroma Export Android Application (Slika 2.24), Slika 2.24: Izvoz aplikacije V naslednjem koraku izberemo projekt, ki ga želimo izvoziti Slika 2.25: Izbira projekta 29

Sledi ustvarjanje dokumenta»keystore«, ki omogoča nalaganje novih verzij istega programa. Brez tega dokumenta sicer ne bo mogoče objavljati popravkov. Slika 2.26: Ustvarjanje dokumenta»keystore«slika 2.27: Zapis podatkov o lastniku aplikacije in časa veljavnosti certifikata 30

Zadnji korak pri kreaciji dokumenta APK. V tem koraku izberemo pot in ime dokumenta. Izgled končnega produkta, po instalaciji na ciljnem sistemu, izgleda, kot kaže slika 2.28 in 2.29. Slika 2.28: Izbira imena in poti paketa APK Slika 2.29: Ikona igre na telefonu 31

Slika 2.29: Glavni uporabniški vmesnik izvedene igre 32

2.5 Meje sposobnosti multimodalne komunikacije na mobilnem telefonu Glavni del mobilnega telefona, ki omogoča multimodalno komunikacijo, so senzorji in gradniki, ki so značilni za določeno modalnost. Ker imajo ti gradniki in senzorji omejitve delovanja, je posledično omejena multimodalna komunikacija celotnega sistema. Vrsta modalnosti vrsta gradnik OMEJITEV komunikacije gradnika Vizualna sprejemni kamera Resolucija in hitrost Vizualna oddajni Zaslon Velikost LED Svetilnost (<500lm) Slušna sprejemni mikrofon Občutljivost Slušna oddajni zvočnik Glasnost Taktilna sprejemni Senzor pritiska Neučinkovit na neznatne pritiske in občutljiv na znatne pritiske in padce Taktilna oddajni vibrator Daljša uporaba vibratorja ni zdrava Tabela 2.3: Omejitve oz meje sposobnosti gradnikov posameznih modalnosti komunikacije 2.6 Predlog razvoja multimodalne komunikacije na mobilnem telefonu Multimodalna komunikacija na mobilnem telefonu je neposredno odvisna od sestavnih delov mobilnega telefona, to je, katere senzorične elemente ima. Z vgrajeno kamero in barvnim zaslonom je omogočena vizualna modalnost komunikacije, z vgrajenim mikrofonom in zvočnikom je omogočena avdio modalnost komunikacije, z vgrajenim vibratorjem in senzorjem pritiska je omogočena taktilna modalnost komunikacije. Razvoj modalnosti je torej mogoč, v kolikor mobilnemu telefonu dodamo nove senzorske elemente ali pa da ugotovimo nove načine uporabe že vgrajenih senzorskih elementov. Cilj razvoja multimodalne komunikacije je izboljšati uporabniško izkušnjo. 33

3 UČINKOVITOST OBJAVE APLIKACIJE V tem poglavju pa smo se spraševali kako učinkovita je objava aplikacije na Google Play, namreč ne le da obstaja veliko število različnih tiplov mobilnih telefonov, ampak imajo lahko tudi različne operacijske sisteme. Aplikacijo, ki smo jo generirali, pa deluje le za operacijski sistem Android, ne pa na telefonih s sistemom IOS, WINDOWS, SYMBIAN. Kako je razširjen določen mobilni operacijski sistem podaja slika 2.31. Slika 2.31: Tržni delež operacijskih sistemov mobilnih telefonov v svetovnem merilu [11] 34

sistem obdobje ANDROID ios WinPhone 2. četrtletje 2012 69.3 % 16.6% 3.1% 2. četrtletje 2013 79.8% 12.9% 3.4% 2. četrtletje 2014 84.4% 10.6% 2.5% 2. četrtletje 2015 82.2% 13.9% 2.6% Tabela 2.4: Tržni delež operacijskih sistemov mobilnih telefonov v svetovnem merilu [11] Analiza je pokazala, da je tržni delež operacijskega sistema Android daleč najbolj razširjen. Android OS je približno 3-krat bolj razširjen kot ios in 20-krat bolj kot WinPhone. Izvedena multimodalna komunikacija v mobilni aplikaciji je učinkovita in daje odlične rezultate, saj je interaktivnost aplikacije na visokem nivoju. V izdelani aplikaciji so vključene pričakovane modalnosti: - vizualna (izhodna; predvajajo se animacije) - avdio (izhodna; igra predvaja zvočne efekte) - taktilna (vhodna; s pritiskom na lik prožimo naslednjo animacijo) 35

4 SKLEP Tekom izdelave diplomskega dela smo se podrobno spoznali z vrstami multimodalnosti komunikacije, s prednostmi in slabostmi. Ugotovili smo, da je vizualna modalnost komunikacije najbolj pomembna, zato smo se ji posebej posvetili pri izdelavi igre. Z vključitvijo multimodalne komunikacije v igri dosežemo boljšo uporabniško izkušnjo. Prihodnost iger je v uporabi vse več multimodalnosti. 36

5 LITERATURA 1 MULTIMODAL INTERACTION. Wikipedia. Dostopmno na naslovu: http://en.wikipedia.org/wiki/multimodal_interaction [avgust 2016] 2 History of mobile phones. Wikipedia. Dostopno na naslovu: https://en.wikipedia.org/wiki/history_of_mobile_phones [avgust 2016] 3 Issues in the Classification of Multimodal Communication Signals. Dostopno na naslovu: http://www.jstor.org/stable/10.1086/431246?seq=1#page_scan _tab_contents [avgust 2016] 4 Anketa: Multimodalna komunikacija na mobilnem telefonu. 1ka. Dostopno na naslovu: https://www.1ka.si/a/102991 [avgust 2016] 5 10 things you didn t know about mobile. Dostopno na naslovu: https://blogs.windows.com/devices/2013/01/16/10-things-you-didnt-knowabout-mobile-gaming-2/#2qvaruplgkky2py7.97 [avgust 2016] 6 AngryBirds. Dostopno na naslovu: https://en.wikipedia.org/wiki/angry_birds_ (video_game) [avgust 2016] 7 Mlakar, Izidor. Ekspresivni model generiranja pogovornega obnašanja v multimodalnih uporabniških vmesnikih. Maribor, Fakulteta za elektrotehniko, računalništvo in informatiko, februar 2014. 8 Best mobile games. Dostopno na naslovu: http://www.cnet.com/pictures/bestmobile-games-of-2016-pictures/ [avgust 2016] 9 GooglePlayDeveloperConsole. Dostopno na naslovu: https://play.google.com/apps/publish/ [avgust 2016] 10 Wav (RIFF) File Format Tutorial. Dostopno na naslovu: http://www.topherlee.com/software/pcm-tut-wavformat.html [avgust 2016] 11 Zupan, Uroš. Izdelava mobilne storitve za portal FERI na platformi Windows Phone. [avgust 2016] 37

6 PRILOGE - Anketa - Izjava o avtorstvu - Izjsvs o ustreznosti zaključnega dela - Izjava o istovetnosti tiskane in elektronske verzije zaključnega dela in objavi osebnih podatkov diplomantov 38

39

40

41

42