Lovro Rojko ZAZNAVA MIŠIČNE UTRUJENOSTI S POMOČJO POVRŠINSKIH ELEKTROMIOGRAMOV IN SENZORJA MICROSOFT KINECT Magistrsko delo Maribor, junij 2017

Lovro Rojko ZAZNAVA MIŠIČNE UTRUJENOSTI S POMOČJO POVRŠINSKIH ELEKTROMIOGRAMOV IN SENZORJA MICROSOFT KINECT Magistrsko delo Maribor, junij 2017

ZAZNAVA MIŠIČNE UTRUJENOSTI S POMOČJO POVRŠINSKIH ELEKTROMIOGRAMOV IN SENZORJA MICROSOFT KINECT Magistrsko delo Študent: Lovro Rojko Študijski program: Računalništvo in informacijske tehnologije MAG Mentor: Lektorica: red. prof. dr. Aleš Holobar Mija Žlahtič, mag. slov. jez. in knjiž.

i

ZAHVALA Zahvaljujem se mentorju red. prof. dr. Alešu Holobarju za vso spodbudo, potrpežljivost in pomoč pri izdelavi magistrske naloge. Posebna zahvala gre mojim staršem, ki so me skozi vsa leta študija podpirali in vzpodbujali. ii

ZAZNAVA MIŠIČNE UTRUJENOSTI S POMOČJO POVRŠINSKIH ELEKTROMIOGRAMOV IN SENZORJA MICROSOFT KINECT Ključne besede: Kinect, elektromiogram, mišična utrujenost, hitrost, pot, pospeški, RMS, kinetične meritve, vmesniki človek stroj UDK: 004.5:612.744(043.2) Povzetek V magistrskem delu smo proučevali možnost zaznavanja mišične utrujenosti s pomočjo senzorja Microsoft Kinect. Opisali smo zajem površinskih elektromiogramov (EMG) dvoglave in troglave nadlaktne mišice in kinetičnih meritev zgornjih okončin štirih zdravih merjencev in analizirali skupne karakteristike zajetih signalov. Iz kinetičnih meritev smo izračunali štiri veličine, in sicer pot, hitrost, pospešek in višino izvedene vaje. Časovne spremembe teh veličin smo statistično primerjali s spremembo amplitude signalov EMG, ki je znan pokazatelj mišične utrujenosti. Ugotovili smo, da se utrujenost mišice relativno dobro odraža v višini gibov, ostale kinetične metrike pa so bile za našo raziskavo manj informativne. Na podlagi teh rezultatov ocenjujemo, da je v primeru večkratnih ponovitev gibov zgornjih okončin možno zaznavati mišično utrujenost tudi samo iz kinetičnih meritev. iii

MUSCLE FATIGUE DETECTION WITH SURFACE ELECTROMYOGRAMS AND MICROSOFT KINECT SENSOR Key words: Kinect, electromyogram, muscle fatigue, speed, distance, acceleration, root mean square, kinetic measurement s, human-computer interfaces UDK: 004.5:612.744(043.2) Abstract In this thesis, we examined the possibility of detecting muscle fatigue by using a Microsoft Kinect sensor. We simultaneously acquired surface electromyograms (EMG) of biceps brachii and triceps muscles and movements of upper extremity by Kinect sensor in four healthy subjects and analysed the common characteristics of the acquired signals. For each movement repetition, we calculated five different metrics from kinetic measurements, namely number of movement repetitions per time unit, distance, speed, acceleration and the maximal height of the arm. Temporal changes in these variables were statistically compared with the changes in the root mean square amplitude of the EMG signals, which is a well-known indicator of muscle fatigue. We found that muscle fatigue is relatively well reflected in the height of the arm, whereas the other tested kinetic metrics were less indicative for muscle fatigue. Based on these results we conclude that muscle fatigue can be detected from kinetic measurements of repeated upper limb movements. iv

KAZALO VSEBINE 1 UVOD... 1 2 STANJE TEHNIKE... 2 2.1 Senzor Microsoft Kinect... 2 2.2 Strojna oprema Kinecta... 4 2.3 Površinski elektromiogrami in elektrofiziološka demonstracija mišične utrujenosti... 5 2.4 Elektrofiziološka demonstracija mišične utrujenosti... 7 3 ZASNOVA REŠITVE IN IMPLEMENTACIJA... 9 3.1 Uporabljene tehnologije... 9 3.1.1 Razvojno okolje Microsoft Visual Studio in programski jezik C#... 9 3.1.2 Microsoft Visual Studio in senzor Microsoft Kinect... 10 3.1.3 Programski jezik MATLAB... 10 3.1.4 Strojna oprema za zajem signalov EMG... 11 3.2 Eksperimentalni protokol... 12 3.3 Zajem signalov... 13 3.3.1 Sledenje gibanju človeškega skeleta s pomočjo senzorja Microsoft Kinect... 13 3.3.2 Zajemanje podatkov z elektromiografom... 14 3.4 Segmentacija gibov v njihove ponovitve... 15 3.5 Kinetične meritve gibov... 16 3.5.1 Višina... 16 3.5.2 Pot... 16 3.5.3 Hitrost... 17 3.5.4 Pospeški... 18 3.5.5 Korenjena srednja kvadratična vrednost... 19 3.6 Statistična analiza spreminjanja vrednosti veličin skozi čas... 20 3.7 Analiza korelacij med posameznimi veličinami... 38 3.8 Regresija sprememb posameznih metrik z odstranitvijo osamelcev... 41 4 SKLEPI IN DISKUSIJA... 50 5 VIRI... 52 v

KAZALO SLIK Slika 2.1: Površinske elektrode za zajem signalov EMG... 6 Slika 2.2: Igelne elektrode za zajem signalov EMG... 6 Slika 2.3: Graf mišične utrujenosti... 8 Slika 3.1: Ojačevalec EMG-USB2, s katerim smo opravljali meritve površinskih signalov EMG... 11 Slika 3.2: Segmentacija gibov v sedem ponovitev glede na višino zapestja... 15 Slika 3.3: Primer zajetih vzorcev višine desnega zapestja (merjenec B, meritev 1)... 16 Slika 3.4: Primer izračunane poti desnega zapestja (merjenec B, meritev 1)... 17 Slika 3.5: Primer hitrosti skozi čas desnega zapestja (merjenec B, meritev 1)... 18 Slika 3.6: Primer pospeškov skozi čas za desno zapestje (merjenec B, meritev 1)... 19 Slika 3.7: Povprečne vrednosti in standardne deviacije števila ponovitev gibov leve roke (vsi merjenci, vse meritve)... 21 Slika 3.8: Povprečne vrednosti in standardne deviacije števila ponovitev gibov desne roke (vsi merjenci, vse meritve)... 21 Slika 3.9: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 22 Slika 3.10: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 22 Slika 3.11: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 23 Slika 3.12: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01.. 23 Slika 3.13: Povprečne vrednosti in standardne deviacije višine desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 24 Slika 3.14: Povprečne vrednosti in standardne deviacije hitrosti desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 24 Slika 3.15: Povprečne vrednosti in standardne deviacije pospeškov desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 25 Slika 3.16: Povprečne vrednosti in standardne deviacije poti desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 25 Slika 3.17: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 26 Slika 3.18: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 26 vi

Slika 3.19: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 27 Slika 3.20: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 27 Slika 3.21: Povprečne vrednosti in standardne deviacije višine levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 28 Slika 3.22: Povprečne vrednosti in standardne deviacije hitrosti levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 28 Slika 3.23: Povprečne vrednosti in standardne deviacije pospeškov levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 29 Slika 3.24: Povprečne vrednosti in standardne deviacije poti levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01... 29 Slika 3.25: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 30 Slika 3.26: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 30 Slika 3.27: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 31 Slika 3.28: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01.. 31 Slika 3.29: Povprečne vrednosti in standardne deviacije višine desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 32 Slika 3.30: Povprečne vrednosti in standardne deviacije veličine hitrosti desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 32 Slika 3.31: Povprečne vrednosti in standardne deviacije pospeškov desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 33 Slika 3.32: Povprečne vrednosti in standardne deviacije poti desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 33 Slika 3.33: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 34 Slika 3.34: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 34 Slika 3.35: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 35 Slika 3.36: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 35 vii

Slika 3.37: Povprečne vrednosti in standardne deviacije višine levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 36 Slika 3.38: Povprečne vrednosti in standardne deviacije hitrosti levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 36 Slika 3.39: Povprečne vrednosti in standardne deviacije pospeškov levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 37 Slika 3.40: Povprečne vrednosti in standardne deviacije veličine poti levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01... 37 Slika 3.41: Linearna regresija maksimalnih vrednosti višine leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 42 Slika 3.42: Linearna regresija maksimalnih vrednosti hitrosti leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 42 Slika 3.43: Linearna regresija maksimalnih vrednosti pospeškov leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 42 Slika 3.44: Linearna regresija maksimalnih vrednosti poti leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 43 Slika 3.45: Linearna regresija maksimalnih vrednosti EMG dvoglave nadlaktne mišice leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 43 Slika 3.46: Linearna regresija RMS višine leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 43 Slika 3.47 Linearna regresija RMS hitrosti leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 44 Slika 3.48: Linearna regresija RMS pospeškov leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 44 Slika 3.49: Linearna regresija RMS poti leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 44 Slika 3.50: Linearna regresija RMS EMG dvoglave nadlaktne mišice leve (levi graf) in desne roke (desni graf) pri meritvi 1 merjenca B... 45 Slika 3.51: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta p1 (leva roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01, # negativna povprečna vrednost... 45 Slika 3.52: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta p2 (leva roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 46 Slika 3.53: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta določanja (leva roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 46 Slika 3.54: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti vsote kvadratov ostankov (leva roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 47 viii

Slika 3.55: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta p1 (desna roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01, # negativna povprečna vrednost... 47 Slika 3.56: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta p2 (desna roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 48 Slika 3.57: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti koeficienta določanja (desna roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 48 Slika 3.58: Absolutne povprečne vrednosti in standardne deviacije maksimalnih vrednosti vsote kvadratov ostanka (desna roka, vsi merjenci, vse meritve); *p < 0,05, **p < 0,01... 49 ix

KAZALO TABEL Tabela 3.1: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin leve roke (merjenec B, meritev 1)... 38 Tabela 3.2: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin desne roke (merjenec B, meritev 1)... 38 Tabela 3.3: Korelacijski koeficienti RMS ocenjenih veličin leve roke (merjenec B, meritev 1)... 39 Tabela 3.4: Korelacijski koeficienti RMS ocenjenih veličin desne roke (merjenec B, meritev 1)... 39 Tabela 3.5: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin leve roke (vsi merjenci, vse meritve)... 39 Tabela 3.6: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin desne roke... 40 Tabela 3.7: Korelacijski koeficienti RMS ocenjenih veličin leve roke (vsi merjenci, vse meritve)... 40 Tabela 3.8: Korelacijski koeficienti RMS ocenjenih veličin desne roke (vsi merjenci, vse meritve) 40 x

SEZNAM KRATIC EMG elektromiogram (ang. electromyography) RMS korenjena srednja kvadratična vrednost (ang. root mean square) USB univerzalno serijsko vodilo (ang. Universal Serial Bus) XML deklarativni jezik (ang. Extensible Markup Language) XAML deklarativni jezik, ki temelji na XML (ang. Extensible Application Markup Language) WPF orodje za izgradnjo grafičnih vmesnikov z uporabo XAML (ang. Windows Presentation Foundation) SDK orodje za razvoj aplikacij (ang. software development kit) DNM dvoglava nadlaktna mišica TNM troglava nadlaktna mišica MUAP akcijski potencial motorične enote (ang. motor unit action potential) MVC maksimalna prostovoljna kontrakcija mišice (ang. maximal voluntary contraction) MFCV prevodna hitrost mišičnih vlaken (ang. muscle fiber conduction velocity) MNF povprečna frekvenca (ang. mean frequency) xi

1 UVOD V magistrskem delu smo proučevali in raziskovali mišično utrujenost človeka ob telesnem naporu. V ta namen smo človeško telo povezali z računalnikom in uporabili analizo površinskih elektromiogramov, ki omogoča merjenje utrujenosti mišic. Pridobivanje podatkov z metodo elektromiografije je relativno zapleten postopek, saj je treba vsakega merjenca posebej povezati na elekromiograf, izmeriti signale in jih nato analizirati. Vsaka elektroda, ki je nameščena na merjenca, je s kablom povezana na elektromiograf. Takšen postopek je zamuden in delno ovira gibanje merjenca. Ugodnejša rešitev bi bila, da merjenci ne bi bili neposredno povezani na računalnik, tako bi se tudi izognili zamudnemu nameščanju elektrod nanje. Za merjence bi to pomenilo veliko večje ugodje pri izvajanju vaj, saj jih ne bi ovirale elektrode in kabli, ki povezujejo človeško telo na elektromiograf, prav tako bi jim lahko določili prostor za izvajanje vaj ter takoj pričeli z meritvami. Zanje in za raziskovalce bi to predstavljalo velik prihranek časa, saj se jim ne bi bilo treba ukvarjati s predhodnimi pripravami. Ena od možnih rešitev zaznavanja mišične utrujenosti je zaznavanje s pomočjo globinske slike, ki jo lahko pridobimo iz kinetičnih vmesnikov, kot je na primer Microsoft Kinect [20]. Kinect je senzor, ki je bil v prvi vrsti razvit za igralno konzolo XBOX 360, se pravi za industrijo videoiger, a je hitro pridobil popularnost tudi na drugih področjih. Magistrsko delo je razdeljeno na več poglavij, znotraj katerih smo prikazali možnost uporabe senzorja Microsoft Kinect za zaznavanje mišične utrujenosti in kot manj moteče alternativne metode elektromiografiji. V drugem poglavju smo predstavili trenutno stanje tehnike in podrobneje opisali Microsoft Kinect in elekromiograf. V tretjem poglavju smo opisali zajem podatkov iz elektromiografa in Kinecta ter postopke ocenjevanja mišične utrujenosti. V četrtem poglavju smo predstavili zasnovo testiranja in rezultate, v zadnjem poglavju pa smo analizirali ugotovitve in podali sklepna razmišljanja. 1

2 STANJE TEHNIKE Kinetični vmesniki so vmesniki, s katerimi zajemamo kinematiko človeškega telesa. Obstaja več pristopov, kako zajeti človeško telo in ga prenesti v digitalni svet. Najbolj razširjen in zaenkrat najbolj natančen pristop je s snemanjem osebe iz več zornih kotov in z večjim številom kamer. Oseba ima na sebi pritrjene referenčne točke (ang. markers). Te točke sistemi zaznajo in jih prenesejo v digitalni svet. Mi smo se odločili uporabiti način z zajemom globinskih slik. Ta način je manj uporaben, saj je tudi manj natančen [7]. Uporabili smo senzor Microsoft Kinect. Ta je v prvi vrsti namenjen igranju videoiger na igralni konzoli XBOX 360, a je hitro pridobil na popularnosti tudi na drugih področjih. 2.1 Senzor Microsoft Kinect Senzor Microsoft Kinect (v nadaljevanju Kinect) je bil izdan leta 2010 za igralno konzolo Microsoft XBOX 360. Bil je razvit in oglaševan kot revolucionarna periferija, ki bo spremenila način, kako ljudje komunicirajo z videoigrami in digitalnim svetom. S Kinectom lahko ljudje vzpostavijo interakcijo z digitalnim svetom brez igralnih ploščkov in igralnih palic. Igralec se bolj poglobi v videoigro, saj lahko uporablja svoje telo in je doživljanje interakcije z računalnikom bolj naravno. Kinect ima vgrajeno zaznavo telesa, kar je ključnega pomena. Računalnik mora najprej razumeti/razpoznati naše gibe, preden se lahko nanje odzove. Na področju zaznavanja kinetičnega gibanja človeškega telesa je bilo objavljenih veliko raziskav [19]. Izkazalo se je, da je z navadno kamero zelo težko doseči verodostojno razpoznavo, zato Kinect uporablja globinski vid. Vpliv, ki ga je imel Kinect, se je razširil tudi preko meja videoiger. Inovativni pristop zaznavanja gibov telesa, povezan z nizkocenovno napravo Kinect, je pripomogel k večji popularnosti zajema in analize gibov. Kinect so začeli uporabljati tudi v medicini, za 2

pomoč slabovidnim [23], za razpoznavanje in prevajanje znakovnega jezika [24, 25], v glasbi [20] in na mnogih drugih področjih. Omeniti je treba, da so za Kinect že kar po treh urah od evropske izdaje napisali gonilnik, kar je pomenilo, da senzor ni bil omejen samo na uporabo z igralno konzolo Microsoft XBOX 360, ampak so ga lahko samostojno povezali na osebni računalnik [17]. Okoli Kinecta se je v zgodnjem času hitro zgradila velika skupnost. Kinect so začeli uporabljati kot visokokakovostni 3D-optični bralnik, z njim posneli predmet iz vseh vidnih strani in tako zgradil 3D-mrežo predmeta [30, 31, 32]. Drugi so senzor uporabili za pomoč pri prevajanju znakovnega jezika. Tako so olajšali komunikacijo z ljudmi, ki znakovnega jezika ne poznajo, ali celo omogočili prevajanje iz enega znakovnega jezika v drugega. Senzor je zajel znake, jih zaznal in prevedel [24, 25]. Drugi raziskovalci so poskušali izboljšati in pohitriti delo znotraj operacijskih sob, kjer so uporabili Kinect kot orodje za komunikacijo medicinskega osebja z računalnikom [26]. V operacijski sobi je nameščen monitor in Kinect. Medicinsko osebje z gestami upravlja s podatki na monitorju (medicinska dokumentacija, 3D-modeli človeških organov). Kinect je bil uporabljen tudi za pomoč ljudem s težavami z motoriko telesa, kot so na primer starejše osebe, osebe s Parkinsonovo boleznijo in osebe, ki so doživele možgansko kap. S Kinectom so pri bolnikih spremljali napredek rehabilitacije ali njihovo degradacijo [3, 4]. Navdušenci pa so Kinect uporabili še za marsikaj drugega. S Kinectom so lahko izrazili in uresničili svoje dolgoletne želje. Veliko takih projektov smo našli na spletni strani KinectHacks.com [18], ki je ena izmed prvih skupnosti, v kateri so uporabniki delili svoje projekte. Na tej strani najdemo veliko projektov, ki so povezani z medicino, 3Dmodeliranjem, glasbo, navidezno resničnostjo in še mnogo več. Stran je vredna ogleda, če želimo videti kaj več o tem, kaj vse lahko naredimo s senzorjem. 3

2.2 Strojna oprema Kinecta Kinect je poznan po tem, da zna zajemati globinsko sliko okolice. S pomočjo globinske slike zazna človeško telo in njegovo gibanje. To pa ni edino, kar zmore, saj vsebuje še druge komponente, ki so manj znane, a enako pomembne. Ohišje Kinecta je podolgovate oblike. Nameščeno je na motoriziranem podstavku, s katerim lahko nadziramo naklon senzorja, da je zajem globinske slike optimalen. Motoriziran podstavek omogoča poljubne nastavitve naklona senzorja, od vodoravnega položaja do 27 stopinj navzgor ali navzdol. Celotni razpon naklona je torej 54 stopinj [13]. Vgrajeni kameri v privzetem načinu zajemata sliko s 30 slikovnimi okvirji na sekundo pri ločljivosti 640 480 pikslov. Najvišja ločljivost, ki jo lahko nastavimo, je 1280 960 pikslov. Pri višji ločljivosti frekvenca zajema slik pade pod 30 slikovnih okvirjev na sekundo. Barvna kamera pošilja podatke z 32-bitno ločljivostjo po 8 bitov na barvni kanal, IR-kamera pa pošilja podatke z 11-bitno ločljivostjo. To pomeni, da ima globinska slika 2048 razredov ločljivosti. Vidljivost kamer je omejena na 57 stopinj vodoravno in 43 stopinj navpično. Zajem globinske slike poteka tako, da IR-oddajnik oddaja IR-žarke z znanim vzorcem. IR-kamera zazna njihov odboj in iz tega vzorca izračuna razdaljo, na kateri se nahajajo predmeti. Senzor ima tudi štiri mikrofone, porazdeljene po celotni širini ohišja. Zaradi velikega števila mikrofonov omogoča zaznavanje smeri zvoka. S pomočjo pospeškometra se lahko senzor orientira v prostoru. Kinect je v zasnovi narejen za prepoznavanje oseb, ki so obrnjene proti senzorju. Če je oseba, ki jo zaznavamo, obrnjena stran, jo senzor stežka prepozna. Vidno polje Kinecta ni veliko. Zazna do šest oseb, pozicijo telesa pa lahko zazna samo za dve osebi. V privzetem načinu zazna osebe na razdalji od 0,8 metra do štiri metre. Za najboljšo zaznavo telesa je priporočena razdalja med 1,2 metra in 3,5 metra [33]. 4

2.3 Površinski elektromiogrami in elektrofiziološka demonstracija mišične utrujenosti Elektromiografija je elekrodiagnostična tehnika, s katero ocenjujemo električno aktivnost skeletnih mišic. Meritve se opravljajo z elektromiografi, ki posnamejo elektromiogram (EMG), to je električni potencial, ki ga proizvedejo mišične celice, ko so aktivirane. Prvi dokumentiran začetek elektromiografije sega v sedemnajsto stoletje. Francesco Redi je odkril posebno mišico v električni jegulji, ki proizvaja elektriko [42]. Leta 1773 je Walsh uspel demonstrirati, da je ta mišica sposobna proizvesti iskro [41]. Nekaj let pozneje, leta 1792, je Luigi Galvani izdal knjigo, v kateri je opisal, da lahko električni impulz povzroči krčenje mišice [40]. Leta 1922 sta Gasser in Erlanger uporabila osciloskop, s katerim sta prikazala električne signale v mišicah [54]. Vendar zaradi stohastične narave mioelektričnih signalov ni bilo možno pridobiti veliko informacij. Po letu 1980 pa so pospešeno začeli uporabljati elektromiografijo, saj je industrija tako napredovala, da je bila strojna oprema dovolj natančna in poceni za širšo uporabo [55]. Danes vemo, da so skeletne mišice sestavljene iz nekaj tisoč mišičnih vlaken, ki se medsebojno povezujejo v osnovne funkcionalne enote mišic, tako imenovane motorične enote. Vsaka motorična enota združuje od nekaj deset do nekaj sto mišičnih vlaken, ki jih oživčuje en sam motorični nevron. Vsa vlakna motorične enote sočasno prejmejo električni impulz in se prožijo sinhrono. Električno vzbujanje (tako imenovani akcijski potencial) se širi od živčno-mišičnega stičišča proti kitam in povzroča krčenje mišičnih vlaken. V zdravih mišicah so motorične enote aktivne asinhrono in tvorijo interferenčne signale EMG. Obstajata dva načina merjenja signalov EMG, in sicer površinski in igelni [1]. Površinske meritve ocenjujejo delovanje mišic na podlagi posnetih signalov iz površine kože. Te signale lahko merimo s parom elektrod ali s poljem več elektrod. V vsakem primeru potrebujemo več kot eno elektrodo, saj se pri elektromiografiji meri razlika v električnem 5

potencialu vsaj dveh elektrod (slika 2.1). Slabosti takšnega pristopa so, da smo omejeni na površino, kjer so elektrode lahko izpostavljene električnim prispevkom drugih mišic, ki jih ne merimo [2]. Na uspešnost meritev vpliva tudi položaj mišice oz. globina mišičnih vlaken pod površino kože. Slika 2.1: Površinske elektrode za zajem signalov EMG Igelni EMG uporablja drugačen tip elektrod za zajemanje signalov (slika 2.2). Elektrode so v tem primeru majhne igle, ki prebodejo kožo. S tem zagotovimo čistejši in frekvenčno bogatejši signal [10]. Slika 2.2: Igelne elektrode za zajem signalov EMG 6

2.4 Elektrofiziološka demonstracija mišične utrujenosti V našem telesu se nahajajo tri različne vrste mišic, in sicer skeletne, srčne in gladke mišice. Skeletne mišice so mišice, s katerimi se lahko nadzorovano premikamo. Na okostje so pritrjene s tetivami in se uporabljajo za premikanje našega telesa. Kljub temu da lahko mišice nadzorujemo, je gibanje v veliki meri tudi nezaveden proces. Skeletne mišice so zgrajene iz več mišičnih vlaken, ki so povezane v več snopov, obdanih z vezivom, imenovanim mišična ovojnica. Povprečen moški ima do 42 % mišične mase, ženska pa do 36 % [16]. Gladke mišice so mišice, na katere nimamo zavestnega vpliva in so predvsem del notranjih organov, od želodca, malega in velikega črevesa do sečil in krvnih žil. Srčne mišice, kot pove že ime, so mišice, ki so zadolžene za nemoteno delovanje srca in jih prav tako kot gladkih mišic ne moremo zavestno nadzorovati. Mioelektrična manifestacija mišične utrujenosti se kaže kot skupek kompleksnih sprememb karakteristik signalov EMG. Te spremembe se lahko pojavijo zaradi utrujenosti centralnega sistema, ki nadzoruje mišice, ali zaradi sprememb lastnosti mišičnih vlaken, na primer prevodne hitrosti električnih potencialov po mišičnem tkivu [8]. Mišično utrujenost lahko razumemo in definiramo iz več zornih kotov, med drugim kot [9, 10]: dolgo izvajanje fizične aktivnosti, ki zmanjša moč človeka za nadaljnje izvajanje vaj; spremembo signalov EMG, pri katerih se poveča amplituda in zmanjša frekvenca signala; občutek, ki se ga zavedamo in vpliva na naše gibanje in premikanje udov. Mišična utrujenost je pojav, ki se začne s krčenjem mišice in napreduje v nezmožnost vzdrževanja potrebne sile. Časovni trenutek, ko mišična sila občutneje popusti, imenujemo točka vzdržljivosti. Med krčenjem mišice se zgodi veliko elektrofizioloških sprememb. Ob kontrakcijski stopnji nad 50 % MVC (ang. maximal voluntary contraction) je skrčitev ishemična [43]. Pod temi pogoji se postopno zniža prevodna hitrost mišičnih vlaken (ang. muscle fiber conduction velocity), to je hitrost potovanja akcijskih potencialov 7

motorične enote (ang. motor unit action potencial) po mišičnih vlaknih. Posledično se frekvenčna vsebina površinskih signalov EMG pomakne proti nižjim frekvencam. Zaradi mišične utrujenosti se torej zniža povprečna frekvenca (ang. mean frequency MNF) površinskega signala EMG [44, 45]. Obratno pa se zaradi postopne rekrutacije vedno novih motoričnih enot v mišici pri podmaksimalnih hotnih mišičnih skrčitvah srednja kvadratična vrednost (ang. root mean square RMS) signalov EMG povečuje (slika 2.3). Slika 2.3: Graf mišične utrujenosti Kot vidimo, mišična utrujenost ni samo fizična sprememba v telesu, ampak tudi zavedanje motoričnih sposobnosti, ki vplivajo na našo aktivnost. V grobem lahko mišično utrujenost opišemo kot počasno degradacijo moči/sile [11]. Celoten proces utrujenosti še ni v celoti raziskan. Za utrujenost ni odgovoren en sam faktor. Na mišično utrujenost v velikem delu vpliva proces, ki je najbolj obremenjen med fizično aktivnostjo. Pri zaznavanju utrujenosti je še veliko neznanega. Zato ne obstaja samo en odgovor na to, kaj vpliva na utrujenost. 8

3 ZASNOVA REŠITVE IN IMPLEMENTACIJA Za testno območje smo si pripravili 2 2 metra velik prostor, kjer so merjenci izvajali vajo. Na eni strani smo na višini enega metra postavili Kinect, na drugi strani, kakšna dva metra od senzorja, pa smo postavili merjenca. Ob njem smo postavili napravo za zajem signalov EMG. 3.1 Uporabljene tehnologije Za primerjanje globinske slike Kinecta in površinskega signala EMG smo uporabili več programskih okolij. Glavni sta bili Microsoft Visual Studio [27] in MATLAB [28]. Za zajem globinske slike iz Kinecta smo uporabili Microsoft Visual Studio, aplikacijo za zajem kinetičnih meritev pa smo napisali v jeziku C#. 3.1.1 Razvojno okolje Microsoft Visual Studio in programski jezik C# Microsoft Visual Studio je namenjen razvijanju aplikacij, predvsem za operacijski sistem (v nadaljevanju OS) Windows. Med razvijalci je OS Windows zelo priljubljeno razvojno okolje, saj zagotavlja stabilno podporo razvoju programske opreme. Microsoft ponuja tako plačljivo kot brezplačno različico Microsoft Visual Studia [27]. Za razvoj aplikacije smo uporabili brezplačno različico, ki je na voljo samostojnim razvijalcem. Projekt, ki smo ga izbrali, je bil tipa WPF. WPF pomeni Windows Presentation Foundation in daje večji poudarek grafičnemu prikazu aplikacije kot drugi tipi projektov [13]. Za oblikovanje grafičnega vmesnika uporablja XAML, ki je baziran na notaciji XML [34]. 9

Programski jezik, ki smo ga uporabili za implementacijo aplikacije, je bil C#. V njem smo pisali zato, ker je tudi programska knjižnica za Kinect napisana v C# in je razvoj tako lažji [13]. 3.1.2 Microsoft Visual Studio in senzor Microsoft Kinect Za začetek uporabe Kinecta na našem računalniku, moramo najprej namestiti Kinect for Windows SDK (ang. software development kit) [14]. S tem dodamo nove programske knjižnice in gonilnike, ki nam omogočajo dostop do funkcionalnosti, ki jih Kinect ponuja. Na koncu moramo še preko priključka USB (ang. Universal Serial Bus) Kinect priključiti na računalnik. V našem primeru je bila verzija nameščenega gonilnika 1.8. Ob namestitvi gonilnika smo namestili še dodatne preizkusne aplikacije, ki nam prikažejo zmogljivosti in uporabo Kinecta [14]. 3.1.3 Programski jezik MATLAB MATLAB je programski jezik, ki ga je v sedemdesetih letih prejšnjega stoletja začel razvijati Cleve Moler, takratni vodja oddelka za računalništvo na Univerzi v Novi Mehiki. Namen je bil njegovim študentom omogočiti dostop do matematičnih razvojnih okolij LINPACK [22] in EISPACK [21], ne da bi jim bilo predhodno treba znati uporabljati programski jezik FORTRAN. Aplikacija se je začela hitro širiti po univerzah in je dobila veliko privržencev. Jack Little, inženir na Univerzi v Stanfordu, se je z aplikacijo srečal leta 1983. V aplikaciji je zaznal komercialni potencial, zato se je združil z Molerjem in Stevom Bangertom. Leta 1984 so MATLAB prepisali v programski jezik C in tako nadaljevali njegov razvoj [12]. Aplikacija je postala razvojna platforma, optimizirana za reševanje inženirskih in znanstvenih problemov. Sintaksa programskega jezika MATLAB temelji na matrikah, zato velja za enega izmed najbolj naravnih jezikov za izvajanje matematičnih izračunov. Vgrajena vizualizacijska orodja ponujajo hiter in enostaven način pridobivanja informacij 10

iz podatkov, ki jih obdelujemo. Aplikacija nas vzpodbuja, da jo preizkušamo, z njo eksperimentiramo in raziskujemo podatke, ki jih srečujemo vsak dan [12]. Izrazitejše prednosti programskega jezika MATLAB vključujejo [28]: visokonivojski jezik za znanstvene in inženirske preračune, grafični vmesnik za vizualizacijo podatkov, orodjarne za klasifikacijo podatkov, analizo signalov, orodja za izgradnjo lastnih vmesnikov za aplikacije in vmesnik za prevajanje v več programskih jezikov, kot so C/C++, Java,.NET, Python, SQL, Hadoop in Microsoft Excel. 3.1.4 Strojna oprema za zajem signalov EMG Za zajemanje površinskih signalov EMG smo uporabili večkanalni ojačevalec EMG-USB2 (OT Bioelettronica, Torino, Italija; slika 3.1). Ojačevalec omogoča zaznavo in snemanje signalov, ki jih človeško telo generira. Signale, ki jih pridobi, ojača, filtrira in pretvori v digitalni signal, ki ga nato pošlje računalniku preko vmesnika USB. EMG-USB2 je namenjen profesionalnim raziskavam. Je modularni sistem, ki lahko zajema od 16 do 256 kanalov. Analogne signale, ki jih ojačevalec zajame, pretvori v 12-bitne podatke, ki jih posreduje računalniku [15]. Slika 3.1: Ojačevalec EMG-USB2, s katerim smo opravljali meritve površinskih signalov EMG 11

3.2 Eksperimentalni protokol V sklopu meritev smo izvedli meritve s štirimi osebami (merjenci), ki so se prostovoljno javile, da bi sodelovale v naši raziskavi. Merjenci so bili stari med 26 in 30 let, visoki med 170 in 175 centimetrov z različno telesno postavo. Merjence smo seznanili z namenom meritev, našimi pričakovanji, kaj bodo opravili v času meritev in kaj bomo med potekom meritve počeli mi. Študija je bila odobrena s strani Komisije RS za medicinsko etiko in je potekala v skladu s Helsinško deklaracijo. Merjenci so bili postavljeni pred senzor Kinect, tako da so bili obrnjeni proti njemu. Vaja, ki so jo morali izvajati, je bila zastavljena tako, da jo je senzor Kinect zaznal čim lažje. Naloga merjencev je bila dvigovanje uteži. Uteži so bile od merjenca do merjenca različne. Vsak od merjencev si je sam izbral težo uteži. Teža, ki so jo merjenci dvigovali, je bila od enega do dveh kilogramov. V začetnem položaju so imeli merjenci nadlakti ob telesu, podlakti pa pod kotom 90 stopinj glede na telo. Podlaket so dvigovali ob telesu in ne pred telesom. Tako je senzor Kinect lažje zaznal njihove gibe. Prva ponovitev vaje je trajala pet minut ali do praga utrujenosti, kjer merjenec ni več mogel izvajati vaje. Po prvi ponovitvi je imel merjenec pet minut počitka. Druga ponovitev vaje je trajala tri minute ali do omenjenega praga utrujenosti. Zaradi omejitev Kinecta smo morali biti pri izbiri vaj in mišic pazljivi. V zgodnji fazi testiranja zmogljivosti Kinecta se je izkazalo, da Kinect najbolje zajema kinetične podatke, če smo obrnjeni proti senzorju. Izkazalo se je tudi, da vaje, ki jih opravljamo pred telesom (npr. dvigovanje podlakti pred telesom), Kinect zazna s težavo. Kinect je uspešno zaznaval vaje, ki so jih merjenci izvajali ob boku telesa, kot so na primer dvig podlakti ali roke ob telesu in enako za dvig noge ob telesu. To nas je omejilo pri izbiri vaj in mišic, ki jih lahko natančno izmerimo. S testiranjem zmogljivosti Kinecta smo ugotovili, da je najprimernejša vaja za izvajanje meritev mišične utrujenosti dvigovanje podlakti ob telesu. Izbrana vaja je bila primerna tudi za zaznavo površinskih signalov EMG, saj smo lahko elektrode na ojačevalec povezali preko hrbta, kjer so kabli merjence najmanj motili pri 12

izvajanju vaje. Elektrode za zajem signalov EMG smo nalepili na kožo, pod katero so se nahajale dolga in kratka glava dvoglave nadlaktne mišice (DNMD in DNMK) in medialna in lateralna glava troglave nadlaktne mišice (TNMM, TNML). Elektrode smo na merjence nalepili na zgornjo polovico glave posamezne mišice, nad inervacijsko cono. Na posamezno roko vsakega merjenca smo nalepili po štiri elektrode. 3.3 Zajem signalov 3.3.1 Sledenje gibanju človeškega skeleta s pomočjo senzorja Microsoft Kinect Kot smo že omenili, ima Kinect infrardečo in barvno kamero. To nam omogoča, da lahko zajamemo globinsko in barvno sliko hkrati. Z izdajo Kinect SDK [14] sta bila omogočena zajem globinske slike in sledenje gibanju telesa. To orodje je namenjeno zbiranju položaja sklepov, ki so obrnjeni proti senzorju. Kinect zbira položaj sklepov za vsako posamezno sliko. Za vsako sliko se oceni in zabeleži pozicija 20 sklepov [35]. Za vsako točko imamo tri podatke [5]. Prvi podatek je indeks sklepa (vsak sklep ima svoj indeks). Drugi podatek je pozicija sklepa, ki jo določajo koordinate X, Y in Z. Koordinate so izražene v metrih. Koordinatni sistem je desno orientiran. Globina, na kateri se nahajajo predmeti ali telo merjene osebe, je izražena na osi z koordinatnega sistema. Os y je usmerjena navzgor, os x pa se razteza od desne proti levi. Zadnji podatek, ki ga dobimo, je status sklepa. Če Kinect sklep zazna, je status sklepa zaznan (ang. tracked). Če sklep ni zaznan, ga algoritem poskuša oceniti in je status sklepa ocenjen (ang. inffered). Če pa ga algoritem ne more oceniti, je status sklepa nezaznan (ang. non-tracked) [5]. Za vključitev knjižnice za delo s Kinectom moramo našemu programu dodati naslednjo vrstico: using Microsoft.Kinect; Kinect zazna do šest oseb, od tega dve osebi v celoti, zato smo v programski kodi določili, za katero osebo smo zajeli podatke sklepov. Podatki so se nahajali v podatkovni strukturi Skeleton. Ta vsebuje podatke sklepov podatkovne strukture JointCollection, vsak sklep pa 13

je tipa Joint [29]. Vsaka instanca podatkovne strukture Joint vsebuje prostorske podatke položaja sklepa v prostoru. Podatke smo s Kinectom snemali ves čas izvajanja gibanja oziroma fizičnih vaj z utežmi. Kinect ima možnost zajemati telo na dva načina, in sicer v stoječem (ang. standing) in sedečem (ang. seated) načinu. Razlika med njima je, da v stoječem načinu zajemamo vseh 20 sklepov, v sedečem pa samo 10 sklepov. Čeprav je pri sedečem načinu treba zaznati in zajeti manj točk, se je pri testiranju Kinecta izkazalo, da v tem načinu počasneje zajema podatke. Temu smo se želeli izogniti, zato smo se odločili, da bomo telo zajemali v stoječem načinu. V stoječem načinu smo podatke zajemali s hitrostjo 30 slikovnih okvirjev na sekundo. To pomeni, da smo pridobili 30 prostorskih podatkov položaja vsakega sklepa na sekundo. Na koncu meritev smo zbrali vse podatke in jih shranili v tekstovno datoteko. Vanjo smo zapisali imena zajetih sklepov, prostorske podatke skozi čas ter trajanje posamezne meritve [6]. 3.3.2 Zajemanje podatkov z elektromiografom Pritrditev elektrod na merjenca in preizkus kvalitete sprejemanja signalov EMG sta trajala približno 20 minut. To smo morali narediti pred vsakim merjenjem vsake osebe posebej. Signale EMG smo zajemali s samolepilnimi elektrodami CDE02401500BX proizvajalca Spes Medica S.r.l., Battipaglia (Sa), Italija. Premer elektrod je znašal 24 milimetrov. Ojačevalec EMG-USB2 je zajete bipolarne signale EMG pretvoril v digitalne in jih preko vmesnika USB poslal računalniku. Naprava je signale zajemala s frekvenco 2048 vzorcev na sekundo. Po protokolu meritev smo si ob nameščanju elektrod zabeležili položaj vsake posamezne elektrode na telesu merjenca. Signale smo pred vsako novo meritvijo preverili in po potrebi na ojačevalcu prilagodili stopnjo ojačenja. Po zaključenih meritvah smo signale shranili v datoteko. 14

V i š i n a 3.4 Segmentacija gibov v njihove ponovitve Zajete signale smo segmentirali v posamezne ponovitve gibov. Vsak zajeti podatek iz Kinecta vsebuje koordinate X, Y in Z. Iz tega lahko določimo pozicijo sklepov v prostoru. Pri vaji, ki so jo morali merjenci izvajati, je bila za segmentacijo najbolj primerna koordinata X, ki je predstavljala višino zajetega sklepa. Za našo segmentacijo smo uporabili koordinato X zapestja posamezne roke. Zapestju se je pri vaji najbolj spreminjala višina in iz nihanja višinskih podatkov smo lahko segmentirali podatke na posamezne ponovitve gibov. V ta namen smo poiskali minimume koordinate X (slika 3.2). Vsak minimum je predstavljal začetek novega giba. Iz tako pridobljenih podatkov smo nato segmentirali površinske signale EMG. To smo naredili tako, da smo v času poravnali prvo in zadnjo ponovitev giba v signalih EMG s prvo in zadnjo ponovitvijo giba v signalih iz Kinecta. 0.2 0.15 0.1 0.05 0-0.05 1 2 3 4 5 6 7-0.1-0.15 0.5 1 1.5 2 2.5 3 3.5 Vzorci 10 4 Slika 3.2: Segmentacija gibov v sedem ponovitev glede na višino zapestja 15

3.5 Kinetične meritve gibov Stopnjo utrujenosti smo ocenili tako, da smo podatke Kinecta dodatno obdelali. Odločili smo se za štiri veličine: višino, opravljeno pot ter hitrosti in pospeške sklepov med posamezno ponovitvijo. 3.5.1 Višina Kinetične meritve zajemajo prostorske koordinate X, Y in Z sklepov v prostoru. X predstavlja višino (slika 3.3), Y predstavlja odmik levo in desno od sredine kamere in Z predstavlja globino oziroma oddaljenost od senzorja Microsoft Kinect. Izhodišče koordinatnega sistema je v sredini kamere. Slika 3.3: Primer zajetih vzorcev višine desnega zapestja (merjenec B, meritev 1) 3.5.2 Pot Opravljeno pot smo računali med dvema zaporedno zajetima koordinatama posameznih sklepov: 16

X = b. X a. X (3.1) Y = b. Y a. Y (3.2) Z = b. Z a. Z (3.3) d = X 2 + Y 2 + Z 2 (3.4) Pri tem sta a in b dva zaporedno zajeta podatka in d opravljena pot. Primer izračunane poti d prikazujemo na sliki 3.4. Slika 3.4: Primer izračunane poti desnega zapestja (merjenec B, meritev 1) 3.5.3 Hitrost Hitrost sklepov smo izračunali tako, da smo opravljeno pot med dvema zaporednima meritvama poti sklepa delili s trajanjem časovnega intervala med eno in drugo meritvijo: v = d t (3.5) Primer izračunane hitrosti prikazujemo na sliki 3.5. 17

Slika 3.5: Primer hitrosti skozi čas desnega zapestja (merjenec B, meritev 1) 3.5.4 Pospeški Pospeške smo izračunali med tremi zaporednimi prostorskimi meritvami sklepa. Najprej smo izračunali dve zaporedni hitrosti sklepa, nato pa razliko hitrosti delili z dolžino časovnega intervala med dvema zaporednima meritvama: v 1 = d 1 t v 2 = d 2 t a = v 2 v 1 Δt (3.6) (3.7) (3.8) Pri tem sta d 1 in d 2 opravljeni poti med prvo in drugo ter drugo in tretjo zaporedno meritvijo, Δt pa je pretečen čas med izračunoma hitrosti v 1 in v 2. Primer izračunanih pospeškov prikazujemo na sliki 3.6. 18

Slika 3.6: Primer pospeškov skozi čas za desno zapestje (merjenec B, meritev 1) Te štiri veličine smo v nadaljevanju uporabili za ocenjevanje utrujenosti. Naša predpostavka je bila, da bo merjenec, ki izvaja vajo, skozi čas postal utrujen in bo vajo začel izvajati počasneje. Posledično bi to pomenilo, da se bo pot, ki jo podlaket naredi v določenem časovnem okvirju, zmanjšala, prav tako se bo zmanjšala hitrost izvajanja vaje in pospeški, ki jih mora merjenec vzdržati, da bi vajo izvajal enakomerno. 3.5.5 Korenjena srednja kvadratična vrednost Podatke, ki smo jih zajeli z elektromiografom in senzorjem Kinect, smo prenesli v MATLAB. Na podlagi drugih študij, ki smo jih opisali v predhodnih poglavjih, bi morali iz naših podatkov razbrati, da se korenjen RMS signalov EMG s časom povečuje [11]. Nad segmentiranimi veličinami višine, hitrosti, pospeškov, poti, površinskih signalov EMG dvoglave in troglave nadlaktne mišice smo izračunali metrike RMS (3.9) in poiskali maksimalno vrednost (3.10) v posameznem segmentu. 19

x RMS = 1 N (x 1 2 + x 2 2 + + x N 2 ) (3.9) x max = max (x 1, x 2, x N ) (3.10) x je v našem primeru vektor meritev površinskih signalov EMG, višine, hitrosti, pospeškov in poti. N je število vzorcev na ponovitev giba. 3.6 Statistična analiza spreminjanja vrednosti veličin skozi čas Statistično analizo smo opravili nad segmentiranimi gibi. Te gibe smo razdelili v 20 sekundne odseke. Za veličine, ki smo jih segmentirali po posameznih gibih, smo izračunali povprečno vrednost μ in standardno deviacijo S veličine A: N μ = 1 A N i=1 i (3.11) S = 1 N A N 1 i=1 i μ 2 (3.12) Na koncu smo s Kruskal-Wallisovim testom preverili statistično značilna odstopanja med posameznimi 20 sekundnimi odseki. Stopnjo statistične značilnosti smo nastavili na p < 0,05 (označeno z *) in p < 0,01 (označeno z **). Sliki 3.7 in 3.8 prikazujeta število ponovitev posameznega giba v 20 sekundnih intervalih. Rezultati statistične analize so prikazani na slikah od 3.9 do 3.40. 20

Slika 3.7: Povprečne vrednosti in standardne deviacije števila ponovitev gibov leve roke (vsi merjenci, vse meritve) Slika 3.8: Povprečne vrednosti in standardne deviacije števila ponovitev gibov desne roke (vsi merjenci, vse meritve) 21

Slika 3.9: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.10: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 22

Slika 3.11: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.12: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na desni roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 23

Slika 3.13: Povprečne vrednosti in standardne deviacije višine desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.14: Povprečne vrednosti in standardne deviacije hitrosti desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 24

Slika 3.15: Povprečne vrednosti in standardne deviacije pospeškov desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.16: Povprečne vrednosti in standardne deviacije poti desnega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 25

Slika 3.17: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.18: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 26

Slika 3.19: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.20: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na levi roki (merjenec B, meritev 1); *p < 0,05, **p < 0,01 27

Slika 3.21: Povprečne vrednosti in standardne deviacije višine levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.22: Povprečne vrednosti in standardne deviacije hitrosti levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 28

Slika 3.23: Povprečne vrednosti in standardne deviacije pospeškov levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 Slika 3.24: Povprečne vrednosti in standardne deviacije poti levega zapestja (merjenec B, meritev 1); *p < 0,05, **p < 0,01 29

Slika 3.25: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.26: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 30

Slika 3.27: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.28: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na desni roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 31

Slika 3.29: Povprečne vrednosti in standardne deviacije višine desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.30: Povprečne vrednosti in standardne deviacije veličine hitrosti desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 32

Slika 3.31: Povprečne vrednosti in standardne deviacije pospeškov desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.32: Povprečne vrednosti in standardne deviacije poti desnega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 33

Slika 3.33: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (dolga glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.34: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG dvoglave nadlaktne mišice (kratka glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 34

Slika 3.35: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (lateralna glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.36: Povprečne vrednosti in standardne deviacije metrike RMS signalov EMG troglave nadlaktne mišice (medialna glava) na levi roki (merjenec B, meritev 2); *p < 0,05, **p < 0,01 35

Slika 3.37: Povprečne vrednosti in standardne deviacije višine levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.38: Povprečne vrednosti in standardne deviacije hitrosti levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 36

Slika 3.39: Povprečne vrednosti in standardne deviacije pospeškov levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 Slika 3.40: Povprečne vrednosti in standardne deviacije veličine poti levega zapestja (merjenec B, meritev 2); *p < 0,05, **p < 0,01 37

3.7 Analiza korelacij med posameznimi veličinami Korelacijske koeficiente smo preračunali med RMS vrednostmi veličin in maksimalnimi vrednostmi veličin v posameznih ponovitvah gibov. Korelacijske koeficiente med posameznimi pari veličin smo preračunali na naslednji način: 1 1 n x (g(x) g )(h(x) h ) (3.13) σ g σ h Pri tem sta σ g in σ h standardni deviaciji signala g in h, f in g sta povprečni vrednosti signalov g in h, n pa je dolžina signala. Rezultate analize korelacij med posameznimi veličinami prikazujemo v tabelah 3.1 3.8. Tabela 3.1: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin leve roke (merjenec B, meritev 1) višina hitrost pospeški pot EMG DNMD EMG DNMK višina 1,00 0,75 0,42 0,75 0,44 0,35 hitrost 0,75 1,00 0,42 1,00 0,34 0,30 pospeški 0,42 0,43 1,00 0,43 0,24 0,23 pot 0,75 1,00 0,43 1,00 0,34 0,30 Tabela 3.2: Korelacijski koeficienti maksimalnih vrednosti ocenjenih veličin desne roke (merjenec B, meritev 1) višina hitrost pospeški pot EMG DNMD EMG DNMK višina 1,00 0,25 0,24 0,25 0,52 0,41 hitrost 0,25 1,00 0,26 1,00 0,33 0,31 pospeški 0,24 0,26 1,00 0,26 0,19 0,19 pot 0,25 1,00 0,26 1,00 0,33 0,31 38