Vrednotenje govornih vmesnikov z ogrodjem PARADISE Melita Hajdinjak, France Mihelič Laboratorij za umetno zaznavanje, sisteme in kibernetiko, Fakultet

Transkripcija

1 Vrednotenje govornih vesnikov z ogrodje PARADISE Melita Hajdinjak, France Mihelič Laboratorij za uetno zaznavanje, sistee in kibernetiko, Fakulteta za elektrotehniko, Univerza v Ljubljani Tržaška 25, 1000 Ljubljana {elita.hajdinjak, france.ihelic}@fe.uni-lj.si Povzetek Opišeo potencialno splošno etodologijo vrednotenja učinkovitosti sisteov za dialog, ienovano ogrodje PARADISE (PARAdig for DIalogue Syste Evaluation). Ogrodje PARADISE oogoča izpeljavo ocene učinkovitosti sistea kot uteženo linearno kobinacijo od doene odvisnih paraetrov uspešnosti naloge in cen dialoga, zajea pa odel učinkovitosti sistea, katerega osnovni cilj je aksiirati zadovoljstvo uporabnikov. Model učinkovitosti sistea, ki ga zajea ogrodje PARADISE, trdi, da lahko funkcijo učinkovitosti sistea določio z ultiplo linearno regresijo. Osredotočio se na nekatere poanjkljivosti, težave in nerešena vprašanja ogrodja PARADISE opišeo vpliv noralizacije na natančnost napovedovanja zadovoljstva uporabnikov, navedeo regresijske predpostavke in poudario poebnost dobre izbire regresijskih paraetrov. Nakažeo tudi orebitne učinke razpoznavanja govora na rezultate vrednotenja in analizirao vprašalnik, na podlagi katerega ogrodje PARADISE določa zadovoljstvo uporabnikov (tj. odvisno spreenljivko funkcije učinkovitosti). V dosedanjih raziskavah so bile nekatere ized naštetih točk prealo poudarjene, zanearjene ali celo napačno interpretirane. Speech-interface evaluation using the PARADISE fraework We introduce the PARADISE (PARAdig for DIalogue Syste Evaluation) fraework, a potential general ethodology for evaluating spoken-language dialogue systes. The PARADISE fraework aintains that the syste s priary objective is to axiize user satisfaction, and it derives a cobined perforance etric for a dialogue syste as a weighted linear cobination of task-success easures and dialogue costs. The PARADISE odel of perforance posits that a perforance function can be derived by applying ultivariate linear regression with user satisfaction as the dependent variable and task-success easures and dialogue costs as the independent variables. We focus on soe PARADISE issues (with ost of the arising fro the application of ultivariate linear regression) that have, up to now, not been sufficiently ephasized or have even been neglected by the dialogue-syste counity. These include considerations regarding the selection of appropriate regression paraeters, noralization effects on the accuracy of the prediction, the influence of speech-recognition errors on the perforance function, and the selection of an appropriate user-satisfaction easure. 1. Uvod Avtoatizacija sporazuevanja z govoro je še vedno eden ized največjih raziskovalnih izzivov. Razlogov je več: Govor je naraven govoriti se naučio, še preden znao brati in pisati. Govor je učinkovit večina ljudi je sposobnih govoriti petkrat hitreje kot tipkati in verjetno celo desetkrat hitreje kot pisati. Govor je fleksibilen ed sporazuevanje z govoro se na ni treba ničesar dotikati in ne opazovati. Računalniški siste, ki uporabniku oogoča, da z govoro dostopa do določenih aplikacij, ienujeo siste za dialog ali govorni vesnik. Z razvoje sisteov za dialog se pojavljajo tudi potrebe po vrednotenju učinkovitosti in edsebojni prierjavi takih sisteov. Težava, ki se pojavi, je ta, da vrednotenja učinkovitosti sistea za dialog ni ogoče oejiti na prierjave z referenčnii odgovori oz. referenčnii poteki dialogov (Bates in Ayuso, 1991; Polifroni et al., 1992; Price et al., 1992). Množica sprejeljivih dialogov je nareč lahko zelo velika. Naslednja težava je veliko število potencialnih etrik dialoga. Siste za dialog lahko npr. vrednotio glede na njegovo sposobnost poagati uporabniko pri doseganju ciljev, glede na njegovo robustnost odkrivanja in preagovanja napak, ki se pojavljajo pri razpoznavanju oz. razuevanju govora, ali glede na skupno kakovost interakcije (Polifroni et al., 1992; Price et al., 1992; Danieli in Gerbino, 1995), ki jo oogoča. Predlogi vrednotenja učinkovitosti sisteov za dialog, ki so se pojavili v zadnjih dveh desetletjih dvajsetega stoletja, se osredotočajo na razvoj različnih etrik dialoga. Predlagani so bili številni objektivni paraetri dialoga (Price et al., 1992; Danieli in Gerbino, 1995) kot npr. število izjav, čas dialoga, povprečni čas odziva uporabnika, povprečni čas odziva sistea, delež izjav, sestavljenih iz več kot ene besede, ter povprečna dolžina izjav, sestavljenih iz več kot ene besede, ki jih lahko določio brez nenja človeka, in paraetri, ki teeljijo na nenju človeka, nareč subjektivni paraetri dialoga (Shriberg et al., 1992; Danieli in Gerbino, 1995) kot npr. delež izjav, s katerii siste popravlja napake, delež kontekstno priernih izjav sistea, hevristično vrednotenje stopnje sodelovanja sistea na podlagi Griceovih aksi (Grice, 1975), delež pravilnih in delno pravilnih odgovorov, delež priernih in nepriernih izjav, s katerii siste userja uporabnika, ter zadovoljstvo uporabnika (Shriberg et al., 1992).

2 Z naeno oogočiti prierjavo sisteov z različnii doenai, kjer je poebno vedeti, v kolikšni eri posaezni paraetri vplivajo na učinkovitost in kako strategija vodenja dialoga vpliva na zadovoljstvo uporabnikov, je bilo leta 1997 kot potencialna splošna etodologija vrednotenja učinkovitosti sisteov za dialog predlagano ogrodje PARADISE (PARAdig for DIalogue Syste Evaluation) (Walker et al., 1997a). Ko boo govorili o strukturi dialoga, boo uporabljali poja konverzacijskih iger in konverzacijskih potez. Konverzacijske igre povezujeo z željai oz. konverzacijskii cilji, kot je na prier cilj pridobiti določeno inforacijo, in so sestavljene iz zaporedja izjav, ki se začnejo s pobudo in končajo, ko je cilj igre dosežen ali igra prekinjena. Sestavne dele konverzacijskih iger ienujeo konverzacijske poteze. To so izjave, deli izjav ali nožice izjav, ki izražajo isto naero, kot je na prier potrditev ali preverjanje. 2. Ogrodje PARADISE Ogrodje PARADISE oogoča izpeljavo ocene učinkovitosti sistea kot uteženo linearno kobinacijo paraetrov uspešnosti naloge in cen dialoga, zajea pa odel učinkovitosti sistea, ki za osnovni cilj postavlja aksiirati zadovoljstvo uporabnikov, kar doseže z aksiiranje paraetrov uspešnosti naloge in iniiranje cen dialoga. Zadovoljstvo uporabnikov ponavadi erio z vprašalniki, v katerih uporabniki podajo stopnjo strinjanja z izjavai o različnih vidikih svoje interakcije s sisteo za dialog. Avtorice ogrodja PARADISE (Walker et al., 1997a) v ta naen uporabljajo vprašalnik, podan v tabeli 1. Vprašanja (v naštete vrstne redu) sprašujejo po učinku odula za tvorjenje govora, učinku odula za razpoznavanje govora, težavnosti pridobivanja inforacij, hitrosti interakcije, izkušenosti uporabnikov, ustreznosti odzivov sistea, pričakovane obnašanju sistea in načrtovani rabi sistea v prihodnosti. Večino odgovorov podajo opisno kot skoraj nikoli, redko, včasih, pogosto in skoraj vedno, nekatere pa le z da, ne in ogoče. Te pote preslikajo v nožico naravnih števil od 1 do 5, pri čeer 1 poeni najanjšo, 5 pa največjo stopnjo strinjanja. Paraeter, ki ocenjuje zadovoljstvo uporabnikov, dobijo kot vsoto vseh ocen in ga poienujejo zadovoljstvo uporabnika (US). Cene dialoga, tj. paraetre dialoga, katerih iniizacija ugodno vpliva na zadovoljstvo uporabnikov, razdelio v dve kategoriji: paraetri učinkovitosti dialoga in paraetri kakovosti dialoga. Paraetri učinkovitosti dialoga (npr. število izjav, ki jih uporabnik potrebuje, da uresniči svojo naero, ali čas dialoga) erijo, kako učinkovito siste uporabniku poaga pri doseganju njegove naere. Paraetri kakovosti dialoga (npr. kolikokrat ora uporabnik ponoviti svojo izjavo, da ga siste razue, ali kakšen je čas čakanja na odziv sistea) pa zajeajo ostale vidike, ki lahko na zadovoljstvo uporabnika prav tako očno vplivajo. Ker vnaprej ni jasno, katere cene dialoga bodo najočneje vplivale na zadovoljstvo uporabnikov, je poebno, da v epiričnih raziskavah uporabljao širok spekter teh paraetrov (Walker et al., 1998). Tabela 1: Vprašalnik za ocenjevanje zadovoljstva uporabnikov, ki ga predlaga ogrodje PARADISE. 1. Ali ste siste brez težav razueli? 2. Ali vas je siste razuel? 3. Ali ste brez težav prišli do odgovorov na vaša vprašanja? 4. Ali je bila hitrost interakcije s sisteo prierna? 5. Ali ste na vsake koraku dialoga vedeli, kaj orate povedati? 6. Ali se je siste na vaše izjave odzival hitro (brez pojasnilnih vprašanj)? 7. Ali se je siste obnašal tako, kot ste ed dialogo od njega pričakovali? 8. Glede na vašo trenutno izkušnjo s sisteo, ali islite, da boste siste še kdaj poklicali? Uspešnost naloge, ki se lahko nanaša na celoten dialog ali del dialoga, ki predstavlja zaključeno celoto, poeni stopnjo ujeanja ed vsebino zahtev uporabnika in dojeanje te s strani sistea za dialog. Ogrodje PARADISE uporablja en sa paraeter uspešnosti naloge, nareč Kappa koeficient (Carletta, 1996). Kappa koeficient (κ) izračunao z uporabo Cohenove etode (Di Eugenio in Glass, 2004) in kontingenčne tabele, ki podaja ujeanje ed vsebino zahtev uporabnika in dojeanje te s strani sistea Model učinkovitosti Če želio siste za dialog vrednotiti z ogrodje PAR- ADISE, orao podatke zbrati v eksperientu, v katere bodo uporabniki ocenili svoje zadovoljstvo. Ostale paraetre odela (paraetri uspešnosti naloge, cene dialoga) pa je treba določiti saodejno ali jih ročno označiti. Model učinkovitosti sistea, ki ga zajea ogrodje PARADISE, trdi, da lahko funkcijo učinkovitosti sistea določio z uporabo ultiple linearne regresije (MLR) z zadovoljstvo uporabnikov kot neodvisno spreenljivko ter paraetri uspešnosti naloge, paraetri učinkovitosti dialoga in paraetri kakovosti dialoga kot neodvisnii spreenljivkai: Učinkovitost = αn (κ) w i N (c i ) Pri te je α utež edinega paraetra uspešnosti naloge, nareč Kappa koeficienta κ, w i so uteži cen dialoga c i,

3 N pa je funkcija noralizacije: N (x) = x x 0 σ x0 Z x 0 in σ x0 so označili srednjo vrednost in standardni odklon spreenljivke x 0 v učni nožici, pridobljeni v ustrezne eksperientu. Srednja vrednost s funkcijo noralizacije N preslikanih paraetrov učne nožice je 0, varianca in standardni odklon pa 1. Tako se znebio težav, ki se pojavijo, če prierjao vrednosti paraetrov, ki se raztezajo na različnih intervalih in/ali so njihove vrednosti različno razpršene. Z noralizacijo paraetrov κ in c i dosežeo relevantnost in prierljivost uteži preslikanih paraetrov N (κ) in N (c 1 ),..., N (c n ). Rezultat ultiple linearne regresije na učni nožici paraetrov, ki praviloa tvorijo predoločen siste, je torej nožica uteži, ki poenijo sorazeren prispevek teh paraetrov k učinkovitosti sistea. Funkcija učinkovitosti, ki jo uvaja ogrodje PARADISE, zato oogoča: napovedovanje zadovoljstva uporabnikov, vrednotenje učinkovitosti sistea za dialog, tj. ugotavljanje vpliva posaeznih paraetrov na zadovoljstvo uporabnikov, izboljšanje sistea za dialog, tj. odpravljanje ali zanjšanje vpliva paraetrov, ki iajo najbolj negativne uteži in povečanje vpliva paraetrov, ki iajo najbolj pozitivne uteži, prierjavo različnih sisteov za dialog, tj. prierjavo vplivov posaeznih paraetrov v pripadajočih funkcijah učinkovitosti, iz katerih lahko razbereo razlike ed sistei, saodejno iskanje probleatičnih dialogov, tj. iskanje dialogov, katerih napovedano zadovoljstvo uporabnikov negativno izstopa, ter spreinjanje strategije vodenja dialoga ed sao interakcijo, tj. spreinjanje načina sporazuevanja na osnovi napovedanega zadovoljstva uporabnika v že izvedene delu interakcije. V zadnjih letih je bilo opravljenih veliko študij učinkovitosti sisteov za dialog, ki so uporabljale ogrodje PARADISE (Walker et al., 1998; Ka et al., 1998; Walker, 2000; Litan in Shiei, 2002; Larsen, 2003; Hajdinjak, 2006b). Ogrodje PARADISE je postala celo najbolj citirana etoda vrednotenja učinkovitosti sisteov za dialog. 3. Analiza ogrodja PARADISE Osredotočili se boo na nekatere poanjkljivosti, težave in nerešena vprašanja ogrodja PARADISE (Hajdinjak in Mihelič, 2006a). Večina jih izvira ravno iz uporabe ultiple linearne regresije Vpliv noralizacije na natančnost napovedovanja zadovoljstva uporabnikov Multipla linearna regresija teelji na etodi najanjših kvadratov, tj. iniira vsoto kvadratov razlik ed v eksperientu pridobljenii vrednosti (tj. učne nožice) in napovedanii vrednosti zadovoljstva uporabnikov. Za dano vrednost zadovoljstva uporabnika US torej velja N (US) = N (US) + ɛ, kjer je N (U S) noralizirana pridobljena vrednost zadovoljstva uporabnika, N (US) napovedana noralizirana vrednost zadovoljstva uporabnika, ɛ pa napaka napovedi. Ker je srednja vrednost napake ɛ enaka 0, sta srednji vrednosti odvisne spreenljivke in njene napovedi enaki. Nenoralizirano zadovoljstvo uporabnika U S lahko tedaj ocenio kot US = N (US)σ US0 + US 0 + ɛσ US0 = ÛS + ɛσ US 0, kjer sta US 0 in σ US0 srednja vrednost in standardni odklon v eksperientu pridobljenih vrednosti zadovoljstva uporabnikov. Vidio, da se napaka ocene noraliziranega zadovoljstva uporabnika N (US) pri te poveča za faktor σ US0. Kako dobro ÛS napoveduje US, kaže razerje absolutnih vrednosti njune razlike in pridobljene vrednosti zadovoljstva uporabnika US: US ÛS q(us, ÛS) = US Naslednje razerje pa kaže, da ocena noralizirane vrednosti zadovoljstva uporabnika N (US) ni vedno tako dobra kot ocena nenoralizirane vrednosti ÛS: q(n (US), N (US)) q(us, ÛS) = Za US > US 0 2 nareč velja: N (US) N (US) N (US) US ÛS US = US US US 0 q(n (US), N (US)) US q(us, ÛS) = US US 0 > 1 Iz prikazanega sledi, da je napovedano noralizirano vrednost zadovoljstva uporabnika N (U S) treba transforirati nazaj na začetni interval, saj je ocena nenoralizirane vrednosti zadovoljstva uporabnika ÛS v večini prierov veliko boljša. To naredio s transforacijo ÛS = N (US)σ US0 + US 0, ki je inverzna noralizaciji. Ne sao da ustrezna literatura (Walker et al., 1997a; Walker et al., 1998; Walker, 2000; Litan in Shiei, 2002; Larsen, 2003) vplivu noralizacije ne posveča pozornosti, apak tudi ne oenja, da je treba vrednosti zadovoljstva uporabnikov, preden začneo izpeljavo odela učinkovitosti, noralizirati, če želio preprečiti prevelike napake ocen (Hajdinjak, 2006b).

4 Obstaja več načinov erjenja natančnosti MLR odelov. Najpogosteje se uporablja koeficient (ultiple) deterinacije, R 2 = ( X i X) 2 (X i X), 2 tj. razerje pojasnjene variance in celotne variance var(x), pri čeer so z označili število enačb učne nožice. Celotna varianca je vsota pojasnjene variance in nepojasnjene variance: var(x) = 1 ( X i X) (X i X i ) 2 Nepojasnjena varianca oz. srednja kvadratna napaka, ɛ 2 = 1 (X i X i ) 2, je ravno količina, ki jo ultipla linearna regresija iniira. Koeficient deterinacije zavzae vrednosti ed 0 in 1. Vrednosti, ki so bližje 1, poenijo večjo natančnost odela, tj. boljšo linearno zvezo ed odvisno spreenljivko in neodvisnii spreenljivkai. Če koeficient deterinacije R 2 ponožio s faktorje 100, rezultat ienujeo odstotek pojasnjene variance. Izkaže se, da je v MLR odelu z noraliziranii spreenljivkai koeficient deterinacije R 2 enak varianci napovedanih vrednosti: R 2 N (US i ) 2 = = var( N (US)) Pri te so z US i označili i-to koponento vektorja US pridobljenih vrednosti zadovoljstva uporabnikov, z N (USi ) pa i-to koponento vektorja N (US) napovedanih noraliziranih vrednosti zadovoljstva uporabnikov. Zadnja enakost velja zato, ker je N (US), torej srednja vrednost napovedanih noraliziranih vrednosti zadovoljstva uporabnikov, enaka N (US) = 0. Zaniiva posledica te ugotovitve je, da so uteži funkcije učinkovitosti po absolutni vrednosti navzgor oejene z 1. Za MLR odel X = α i X i nareč velja naslednje: var( X) = αi pri čeer je corr(x i, X j ) = j=i+1 α i α j corr(x i, X j ), 1 k=1 (X ik X i )(X jk X j ) σ Xi σ Xj korelacija oz. korelacijski koeficient spreenljivk X i in X j. Ker ia dvojna vsota v var( X) sae nenegativne člene, sledi 1 R 2 = var( N (US)) α 2 + in zato napovedan rezultat za uteži funkcije učinkovitosti: w 2 i α 1 w i 1 za i = 1,..., n Velja, da je koren koeficienta deterinacije R enak korelaciji spreenljivke X z njeno oceno X (Seber, 1977): R = corr(x, X) Če upoštevao običajno pojovanje visoke koreliranosti, tj. korelacijski koeficient, ki je po absolutni vrednosti večji od 0.7, to poeni, da lahko šele pri R govorio o zadovoljivi natančnosti MLR odela Regresijske predpostavke Uporaba ultiple linearne regresije pri reševanju predoločenega linearnega sistea zahteva izpolnitev naslednjih pogojev (Johnson in Wichern, 2002): 1. LINEARNOST SPREMENLJIVK: Obstajati ora približno linearna zveza ed odvisno spreenljivko X na eni strani in neodvisnii spreenljivkai X 1,..., X n na drugi strani, tj. pričakovana vrednost oz. ateatično upanje odvisne spreenljivke ora biti linearna funkcija neodvisnih spreenljivk. Indikator linearnosti ed odvisno spreenljivko in neodvisnii spreenljivkai odela je velik koeficient deterinacije R 2. Literatura o vrednotenju učinkovitosti sisteov za dialog z ogrodje PAR- ADISE v glavne poroča o koeficientih deterinacije R 2, ki so blizu ejne vrednosti 0.5 (Walker, 2000; Larsen, 2003), pogosto precej nižje (Walker et al., 1997b; Walker et al., 1998; Walker et al., 1999), le redko pa presežejo vrednost 0.6 (Litan in Shiei, 2002). 2. NEODVISNOST SPREMENLJIVK: Noben par neodvisnih spreenljivk X 1,..., X n ne se biti preveč koreliran, tj. korelacijski koeficienti corr(x i, X j ) orajo biti po absolutni vrednosti anjši od 0.7. Če to ni tako, je dobljen odel lahko zelo občutljiv na ajhne erske napake ali spreebe vrednosti neodvisnih spreenljivk. Teu pojavu rečeo ultikolinearnost. Odvečne neodvisne spreenljivke je zato treba odstraniti iz MLR odela. Zaradi težnje k či večji natančnosti odela je siselno odstraniti tiste spreenljivke, ki so z odvisno spreenljivko v nižji korelaciji. Za napake dobljenega odela napovedovanja odvisne spreenljivke pa velja oz. ora veljati še naslednje: 3. NEPOŠEVNOST NAPAK: Srednja vrednost napake ɛ je enaka 0. To je posledica etode najanjših kvadratov, na kateri teelji linearna regresija. 4. HOMOSKEDASTIČNOST NAPAK: Varianca napake ɛ ora biti po celotni učni nožici enaka. V nasprotne prieru je korelacija ed odvisno spreenljivko in paraetri odela lahko zavajajoče povprečje vzorcev višje in nižje korelacije. 5. NORMALNOST NAPAK: Napaka ɛ ora biti noralno porazdeljena slučajna spreenljivka.

5 Zaniivo vrsto vzorcev predstavljajo t. i. osaelci. Tako ienujeo eritve, ki se nenavadno razlikujejo od velike večine ostalih eritev in zato nepredvidljivo vplivajo na natančnost odela (Tabachnick in Fidell, 1996). Odstranitev osaelcev iz učne nožice MLR odela je eden od običajnih regresijskih postopkov Poebnost izbire regresijskih paraetrov Ko izbirao podnožico paraetrov oz. neodvisnih spreenljivk MLR odela, se zastavi vprašanje, zakaj ne bi vzeli vseh paraetrov, ki jih lahko pridobio. To se zdi siselno predvse zato, ker koeficient deterinacije R 2 s število paraetrov narašča. Izkaže pa se, da je uporaba vseh paraetrov lahko neprierna iz več razlogov: Pridobiti celotno nožico paraetrov je včasih težko, časovno zahtevno in/ali saodejno neogoče. Če se oejio na anjštevilnejšo nožico paraetrov, lahko to včasih bolj natančno določio. Varčnost je poebna lastnost dobrih odelov odeli z anj paraetri oogočajo boljši vpogled v odnose ed regresijskii spreenljivkai. Izračuni regresijskih koeficientov so v odelih z veliko spreenljivkai zaradi ultikolinearnosti pogosto nestabilni. Pokazati se da, da lahko neodvisne spreenljivke, ki so z odvisno spreenljivko v zelo nizki korelaciji (po absolutni vrednosti pod 0.1), povečajo srednjo kvadratno napako. Če take spreenljivke iz odela odstranio, zanjšao napako napovedi. Za preizkus hipoteze o nekoreliranosti neodvisne spreenljivke X i z odvisno spreenljivko X lahko uporabio testno statistiko, ki teelji na Studentovi porazdelitvi. Pokazati se tudi da, da lahko neodvisne spreenljivke, ki iajo v MLR odelu ajhne neničelne (regresijske) koeficiente oz. uteži, povečajo srednjo kvadratno napako. Če takšne spreenljivke iz odela odstranio, zanjšao napako napovedi. V statistiki obstaja več načinov izbire dobre podnožice MLR paraetrov, od katerih ia vsak svoje prednosti in slabosti. Najpogosteje se uporabljajo: sprednja izbira, vzvratna eliinacija in postopna regresija (Seber, 1977) Merjenje zadovoljstva uporabnikov Hone in Graha (Hone in Graha, 2000) sta opozorila na dejstvo, da vprašalnik (Tabela 1), s kateri avtorice ogrodja PARADISE erijo zadovoljstvo uporabnikov, ne teelji niti na teoriji niti na ustreznih epiričnih raziskavah in da je seštevanje ocen, ki naj bi erile popolnoa različne količine, sporno. Vsota naj bi bila siselna le, če vsa vprašanja erijo isto količino. Da bi bila vsota ali celo povprečje ocen, ki se nanašajo na učinkovitost katerega ized odulov sistea za dialog, popolnoa nesiselna, ni čisto res. Na izbran odul lahko gledao kot na erjeno količino. Res je sicer, da lahko opazujeo različne vidike obnašanja tega odula, vendar nas ponavadi ne zaniajo le izolirane lastnosti, teveč tudi uspešnost odula kot celote. S te v zvezi enio, da tudi seštevanje ocen, dodeljenih vprašanje za določanje zadovoljstva uporabnikov z različnii vidiki delovanja sistea za dialog, ni popolnoa nesiselno. Res je, da etoda ni dodelana, je pa lahko dober kazalec učinkovitosti sistea za dialog. Ker za nobeno od obstoječih tehnik erjenja zadovoljstva uporabnikov sisteov za dialog ni dokazano, da izpolnjuje pogoje za veljaven psihoetrični instruent, je treba vse sklepe, ki zajeajo zadovoljstvo uporabnikov, obravnavati zelo previdno. Žal je bil prvi resen poskus razvoja vprašalnika, ki bi zanesljivo, veljavno, objektivno in diskriinativno eril zadovoljstvo uporabnikov sisteov za dialog, (začasno) prekinjen (Hone in Graha, 2000). Če se pojavi želja po vrednotenju katerega od odulov danega sistea za dialog (npr. odula za vodenje dialoga ali odula za razpoznavanje govora), pa je bolj siselno sešteti ocene, dodeljene le tisti vprašanje, ki se nanašajo na učinkovitost oz. obnašanje izbranega odula (Hajdinjak, 2006b) Vplivi razpoznavanja govora na rezultate vrednotenja Paraeter, ki ia v funkciji učinkovitosti zaradi (po absolutni vrednosti) največje uteži najpogosteje najpoebnejšo vlogo, je paraeter, ki eri učinkovitost odula za razpoznavanje govora (Walker et al., 1997b; Walker et al., 1998; Litan in Shiei, 2002; Larsen, 2003). To je, kakovost razpoznavanja govora ključno vpliva na zadovoljstvo uporabnikov ob povečani učinkovitosti razpoznavanja govora se poveča tudi zadovoljstvo uporabnikov. Kaj pa, če nas zania npr. učinkovitost odula za vodenje dialoga ali razuevanje naravnega jezika? Na osnovi rezultatov, ki jih podaja literatura, so prišli do sklepa, da bo vrednotenje učinkovitosti posaeznih odulov zelo verjetno zanesljivejše in natančnejše, če odstranio vpliv razpoznavanja govora, torej siulirao tako rekoč popolno razpoznavanje. To lahko naredio tako, da za pridobivanje regresijskih podatkov uporabio eksperient Čarovnik iz Oza (Hajdinjak in Mihelič, 2004), v katere vlogo razpoznavalnika govora ali celo vlogo odulov za razuevanje govora prevzae človek. Ugotovili so (Hajdinjak, 2006b), da pridejo v te prieru v ospredje tudi tisti paraetri odela učinkovitosti, ki ji zaradi izjenega vpliva učinkovitosti razpoznavanja govora svoje vloge v preteklih študijah ni uspelo dokazati. Trdio, da tako dobljene uteži funkcije učinkovitosti realneje izražajo vpliv paraetrov na zadovoljstvo uporabnikov. V skladu z našii sklepi so tudi ugotovitve, do katerih so prišle Walker, Boland in Ka (Walker et al., 1999). Ugotovile so, da se značilnosti in uteži paraetrov odela učinkovitosti lahko spreenijo, če izboljšao razpoznavanje govora.

6 4. Sklep Podrobno so preučili ogrodje PARADISE, ki velja za potencialno splošno etodologijo vrednotenja učinkovitosti sisteov za dialog. Opozorili so na nekatere poanjkljivosti in oejitve te etode ter predlagali orebitne rešitve (Hajdinjak in Mihelič, 2006a). Prvič, opozorili so na dejstvo, da je treba, če se želio izogniti preveliki napaka ocen, noralizirati tudi odvisno spreenljivko funkcije učinkovitosti, ki izraža zadovoljstvo uporabnikov, ter napovedano noralizirano vrednost zadovoljstva uporabnika transforirati nazaj na začetni interval. Drugič, poudarili so, da vprašalnik, s kateri avtorice ogrodja PARADISE erijo zadovoljstvo uporabnikov, ne teelji niti na teoriji niti na ustreznih epiričnih raziskavah, in zato ne ore šteti za veljaven psihoetrični instruent. Tretjič, prišli so do sklepa, da bo vrednotenje učinkovitosti posaeznih odulov zelo verjetno zanesljivejše in natančnejše, če odstranio vpliv razpoznavanja govora, torej siulirao tako rekoč popolno razpoznavanje. Oenili so, da v te prieru pridejo v ospredje tudi tisti paraetri odela učinkovitosti, ki ji zaradi izjenega vpliva učinkovitosti razpoznavanja govora svoje vloge v preteklih študijah ni uspelo dokazati, in trdili, da tako dobljene uteži funkcije učinkovitosti realneje izražajo vpliv paraetrov na zadovoljstvo uporabnikov. 5. Literatura M. Bates in D. Ayuso A proposal for increental dialogue evaluation. V: Proceedings of DARPA Speech and Natural Language Workshop, str Pacific Grove, ZDA. J. C. Carletta Assessing the reliability of subjective codings. Coputational Linguistics, 22(2): M. Danieli in E. Gerbino Metrics for evaluating dialogue strategies in a spoken language syste. V: Proceedings of the 1995 AAAI Spring Syposiu on Epirical Methods in Discourse Interpretation and Generation, str Stanford, ZDA. B. Di Eugenio in M. Glass The kappa statistic: A second look. Coputational Linguistics, 30(1): H. Grice Logic and Conversation (Syntax and Seantics, Speech Acts, Vol. 3). Acadeic Press, New York. M. Hajdinjak in F. Mihelič Conducting the wizardof-oz experient. Inforatica, 28(4): M. Hajdinjak in F. Mihelič. 2006a. The paradise evaluation fraework: Issues and findings. Coputational Linguistics, 32. M. Hajdinjak. 2006b. Predstavitev znanja in vrednotenje učinkovitosti sodelujočih saodejnih sisteov za dialog, Doktorska disertacija. Fakulteta za elektrotehniko, Univerza v Ljubljani, Ljubljana. K. S. Hone in R. Graha Towards a tool for the subjective assessent of speech syste interfaces (sassi). Natural Language Engineering, 6(3/4): R. A. Johnson in D. W. Wichern Applied ultivariate statistical analysis. Prentice-Hall, Upper Saddle River (NJ). C. A. Ka, D. J. Litan, in M A. Walker Fro novice to expert: The effect of tutorials on user expertise with spoken dialogue systes. V: Proceedings of the 5th International Conference on Spoken Language Processing, str Rundle Mall, Avstralija. L. B. Larsen Issues in the evaluation of spoken dialogue systes using objective and subjective easures. V: Proceedings of the Autoatic Speech Recognition and Understanding Workshop, str St. Thoas, ZDA. D. J. Litan in P. Shiei Designing and evaluating an adaptive spoken dialogue syste. User Modeling and User-Adapted Interaction, 12. J. Polifroni, L. Hirschan, S. Seneff, in V. Zue Experients in evaluating interactive spoken language systes. V: Proceedings of DARPA Speech and Natural Language Workshop, str Harrian, ZDA. P. Price, L. Hirschan, E. Shriberg, in E. Wade Subject-based evaluation easures for interactive spoken language systes. V: Proceedings of the DARPA Speech and Natural Language Workshop, str Harrian, ZDA. G. A. F. Seber Linear Regression Analysis. John Wiley & Sons, New York. E. Shriberg, E. Wade, in P. Price Huan-achine proble solving using spoken language systes (sls): Factors affecting perforance and user satisfaction. V: Proceedings of the DARPA Speech and Natural Language Workshop, str Harrian, ZDA. B. G. Tabachnick in L. S. Fidell Using Multivariate Statistics, Third Edition. Harper Collins, New York. M. A. Walker, D. Litan, C. A. Ka, in A. Abella. 1997a. Paradise: A fraework for evaluating spoken dialogue agents. V: Proceedings of the 35th Annual Meeting of the Association of Coputational Linguistics, str Madrid, Španija. M. A. Walker, D. Hindle, J. Froer, G. Di Fabbrizio, in C. Mestel. 1997b. Evaluating copeting agent strategies for a voice eail agent. V: Proceedings of the 5th European Conference on Speech Counication and Technology, str Rodos, Grčija. M. A. Walker, D. J. Litan, C. A. Ka, in A. Abella Evaluating spoken dialogue agents with paradise: Two case studies. Coputer Speech and Language, 12(3): M. A. Walker, J. Boland, in C. Ka The utility of elapsed tie as a usability etric for spoken dialogue systes. V: Proceedings of the Autoatic Speech Recognition and Understanding Workshop, str Keystone, ZDA. M. A. Walker An application of reinforceent learning to dialogue strategy selection in a spoken dialogue syste for eail. Journal of Artificial Intelligence Research, 12: