Vrednotenje rezultatov projekta „Using Euros“
Celovita analiza
Povzetek
Študija ocenjuje učinkovitost in uporabnost izdelkov projekta „Using Euros“ na podlagi celovite analize povratnih informacij uporabnikov. Skupaj 79 udeležencev je platformo ocenilo v 24 razsežnostih, ki zajemajo tehnično delovanje, pedagoško vrednost in učno izkušnjo. S 5-stopenjsko Likertovo lestvico so anketiranci ocenjevali vidike, kot so uporabnost vmesnika, tehnična zanesljivost, pedagoška vključitev in učni rezultati. Statistična analiza je odkrila visoko povezane lastnosti in ločene skupine dejavnikov, ki opredeljujejo uporabniško izkušnjo. Rezultati kažejo izjemno pozitiven odziv (povprečne ocene >4,6 v vseh razsežnostih), največje soglasje pa je pri razvoju življenjskih veščin, vključenosti učencev in skladnosti z učnimi cilji. Tehnično delovanje in elementi uporabniške izkušnje so oblikovali najbolj trdno skupino dejavnikov, nastavljanje parametrov in ocenjevanje napredka pa sta se izkazala kot ločeni vprašanji. Raziskava prinaša pomembna spoznanja za razvijalce izobraževalne tehnologije in strokovnjake, ki želijo uvesti učinkovite digitalne učne platforme, v katerih sta tehnična zanesljivost in pedagoška vrednost v ravnovesju.
OPISNA STATISTIKA
| število | povprečje | std | min | 25% | 50% | 75% | maks | Vprašanje | |
|---|---|---|---|---|---|---|---|---|---|
| 0 | 79.0 | 4.670886075949370 | 0.7462988847080340 | 1.0 | 5.0 | 5.0 | 5.0 | 5.0 | Spletno mesto deluje brez tehničnih težav (1-5) |
| 1 | 79.0 | 4.7594936708860800 | 0.5596516744853900 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Podana navodila so jasna (1-5) |
| 2 | 79.0 | 4.746835443037980 | 0.5654214318990420 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Vmesnik je uporabniku prijazen (1-5) |
| 3 | 79.0 | 4.772151898734180 | 0.505086108135003 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Kakovost grafike (1-5) |
| 4 | 76.0 | 4.776315789473680 | 0.505929750341588 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Aplikacije delujejo v vsaj treh brskalnikih (1-5) |
| 5 | 76.0 | 4.723684210526320 | 0.531631055288692 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Pojavna okna in opozorilna sporočila so v pomoč (1-5) |
| 6 | 78.0 | 4.743589743589740 | 0.6729639313369270 | 2.0 | 5.0 | 5.0 | 5.0 | 5.0 | Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) |
| 7 | 79.0 | 4.658227848101270 | 0.5748149300687360 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 | Nastavljanje parametrov je preprosto (1-5) |
| 8 | 79.0 | 4.69620253164557 | 0.6066813969699470 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Uporabniki aplikacije zlahka zaženejo (1-5) |
| 9 | 79.0 | 4.8354430379746800 | 0.46493395579608000 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Skeniranje deluje, kot je treba (1-5) |
| 10 | 79.0 | 4.784810126582280 | 0.5230797869215380 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Izpisi so dobre kakovosti (1-5) |
| 11 | 79.0 | 4.7974683544303800 | 0.490414446273684 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Uporabljena je univerzalna zasnova učenja (1-5) |
| 12 | 79.0 | 4.886075949367090 | 0.31974917141296800 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) |
| 13 | 79.0 | 4.848101265822790 | 0.4554121152779830 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5) |
| 14 | 79.0 | 4.822784810126580 | 0.4163176077654420 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Aplikacije je mogoče vključiti v učni načrt (1-5) |
| 15 | 79.0 | 4.6835443037974700 | 0.5671409131068760 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 | Vzorčne priprave na pouk so uporabne (1-5) |
| 16 | 79.0 | 4.860759493670890 | 0.34840947082971600 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | Uporabniki so dejavno vključeni v učni proces (1-5) |
| 17 | 79.0 | 4.7594936708860800 | 0.45896175678393700 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Opombe o metodologijah so v pomoč (1-5) |
| 18 | 79.0 | 4.772151898734180 | 0.5298613047505830 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Samovrednotenje motivira učence (1-5) |
| 19 | 79.0 | 4.8734177215189900 | 0.4346259401911600 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Učenci lahko delajo v svojem tempu (1-5) |
| 20 | 78.0 | 4.846153846153850 | 0.36313651960128100 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | Podane informacije so povezane z učnimi cilji (1-5) |
| 21 | 79.0 | 4.8734177215189900 | 0.3709685385649280 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5) |
| 22 | 79.0 | 4.772151898734180 | 0.4790312630611270 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Učitelji lahko zlahka ocenijo napredek učencev (1-5) |
| 23 | 79.0 | 4.69620253164557 | 0.627457841667814 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5) |
Vprašanja z veliko variabilnostjo
| Oznaka | Vprašanje | std |
|---|---|---|
| A1 | Spletno mesto deluje brez tehničnih težav (1-5) | 0.7462988847080340 |
| A7 | Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) | 0.6729639313369270 |
| C12 | Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5) | 0.627457841667814 |
| A9 | Uporabniki aplikacije zlahka zaženejo (1-5) | 0.6066813969699470 |
| A8 | Nastavljanje parametrov je preprosto (1-5) | 0.5748149300687360 |
Vprašanja z majhno variabilnostjo
| Oznaka | Vprašanje | std |
|---|---|---|
| B1 | Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) | 0.31974917141296800 |
| C5 | Uporabniki so dejavno vključeni v učni proces (1-5) | 0.34840947082971600 |
| C9 | Podane informacije so povezane z učnimi cilji (1-5) | 0.36313651960128100 |
| C10 | Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5) | 0.3709685385649280 |
| B3 | Aplikacije je mogoče vključiti v učni načrt (1-5) | 0.4163176077654420 |
Razumevanje variabilnosti odgovorov (standardni odklon)
Standardni odklon (std) na drugem grafikonu kaže, koliko se odgovori pri posameznem vprašanju razlikujejo od povprečja. Kaj nam pove:
Nizek standardni odklon (blizu 0) → visoko soglasje
Če je standardni odklon blizu 0, to pomeni, da je večina anketirancev dala zelo podobne ocene (npr. vsi so vprašanje ocenili s 5). To kaže na močno soglasje glede ocene.
Primer: Če ima vprašanje o „jasnosti navodil“ std = 0, to pomeni, da so se vsi strinjali z isto oceno (vsi 5 ali vsi 4 itd.).
Visok standardni odklon (nad 0,5) → bolj raznolika mnenja
Višji standardni odklon pomeni, da so se odgovori med anketiranci precej razlikovali. To kaže na mešana mnenja – nekateri so vprašanje ocenili visoko, drugi nizko.
Primer: Če ima vprašanje o „prijaznosti vmesnika“ std = 0,8, to pomeni, da se je nekaterim zdel zelo uporabniku prijazen (5), drugi pa so ga ocenili nižje (3–4), kar kaže na neskladje mnenj.
Zakaj je variabilnost pomembna?
- Nizka variabilnost → kaže na močno soglasje (lastnost je res zelo dobra ali res zelo slaba).
- Visoka variabilnost → opozarja na področja za izboljšave (nekateri uporabniki so zadovoljni, drugi ne, kar kaže na težave z uporabnostjo).
Vprašanja z visokim standardnim odklonom bi bilo morda treba dodatno raziskati, da bi ugotovili, zakaj so mnenja deljena.
Kategorija vprašanja
| Kategorija | Vprašanje |
|---|---|
| A1 | Spletno mesto deluje brez tehničnih težav (1-5) |
| A2 | Podana navodila so jasna (1-5) |
| A3 | Vmesnik je uporabniku prijazen (1-5) |
| A4 | Kakovost grafike (1-5) |
| A5 | Aplikacije delujejo v vsaj treh brskalnikih (1-5) |
| A6 | Pojavna okna in opozorilna sporočila so v pomoč (1-5) |
| A7 | Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) |
| A8 | Nastavljanje parametrov je preprosto (1-5) |
| A9 | Uporabniki aplikacije zlahka zaženejo (1-5) |
| A10 | Skeniranje deluje, kot je treba (1-5) |
| A11 | Izpisi so dobre kakovosti (1-5) |
| A12 | Uporabljena je univerzalna zasnova učenja (1-5) |
| B1 | Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) |
| B2 | Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5) |
| B3 | Aplikacije je mogoče vključiti v učni načrt (1-5) |
| B4 | Vzorčne priprave na pouk so uporabne (1-5) |
| C5 | Uporabniki so dejavno vključeni v učni proces (1-5) |
| C6 | Opombe o metodologijah so v pomoč (1-5) |
| C7 | Samovrednotenje motivira učence (1-5) |
| C8 | Učenci lahko delajo v svojem tempu (1-5) |
| C9 | Podane informacije so povezane z učnimi cilji (1-5) |
| C10 | Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5) |
| C11 | Učitelji lahko zlahka ocenijo napredek učencev (1-5) |
| C12 | Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5) |
KORELACIJE MED VPRAŠANJI
Najmočnejše korelacije med vprašanji (korelacija nad 0,7), ki kažejo, da so odgovori na ta vprašanja zelo povezani.
| Oznaka 1 | Vprašanje 1 | Besedilo vprašanja 1 | Oznaka 2 | Vprašanje 2 | Besedilo vprašanja 2 | Korelacija |
|---|---|---|---|---|---|---|
| A1 | 0 | Spletno mesto deluje brez tehničnih težav (1-5) | C5 | 16 | Uporabniki so dejavno vključeni v učni proces (1-5) | 0.7090125015101340 |
| A2 | 1 | Podana navodila so jasna (1-5) | A9 | 8 | Uporabniki aplikacije zlahka zaženejo (1-5) | 0.7260350618403750 |
| A3 | 2 | Vmesnik je uporabniku prijazen (1-5) | A6 | 5 | Pojavna okna in opozorilna sporočila so v pomoč (1-5) | 0.781614675979465 |
| A4 | 3 | Kakovost grafike (1-5) | A11 | 10 | Izpisi so dobre kakovosti (1-5) | 0.734028376223487 |
| A4 | 3 | Kakovost grafike (1-5) | B1 | 12 | Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) | 0.7104325775692570 |
| A6 | 5 | Pojavna okna in opozorilna sporočila so v pomoč (1-5) | B3 | 14 | Aplikacije je mogoče vključiti v učni načrt (1-5) | 0.7192552903761100 |
| A7 | 6 | Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) | A9 | 8 | Uporabniki aplikacije zlahka zaženejo (1-5) | 0.7548860451594470 |
| A9 | 8 | Uporabniki aplikacije zlahka zaženejo (1-5) | A11 | 10 | Izpisi so dobre kakovosti (1-5) | 0.7609438667598360 |
| A10 | 9 | Skeniranje deluje, kot je treba (1-5) | A11 | 10 | Izpisi so dobre kakovosti (1-5) | 0.7487071134303000 |
| A10 | 9 | Skeniranje deluje, kot je treba (1-5) | A12 | 11 | Uporabljena je univerzalna zasnova učenja (1-5) | 0.7516016138604400 |
| C6 | 17 | Opombe o metodologijah so v pomoč (1-5) | C9 | 20 | Podane informacije so povezane z učnimi cilji (1-5) | 0.7040041483986320 |
ANALIZA SKUPIN
Skupine vprašanj, ugotovljene na podlagi eksploratorne faktorske analize (EFA):
Skupine in njihova združena vprašanja:
Faktor 1 (največja skupina):
- Osredotoča se na uporabnost, uporabniško izkušnjo in vključenost v učenje.
- Zajema vprašanja o prijaznosti vmesnika, jasnosti navodil, enostavnosti uporabe, povratnih informacijah in učenju v lastnem tempu.
Faktor 2:
- Nanaša se na tehnično delovanje in dostopnost.
- Zajema vprašanja o kakovosti grafike, združljivosti z brskalniki, koristnih opozorilih, kakovosti izpisov in pripravah na pouk.
Faktor 3:
Vsebuje samo eno vprašanje, ki se nanaša na ocenjevanje napredka učencev s strani učiteljev.
Faktor 4:
Prav tako vsebuje samo eno vprašanje, osredotočeno na enostavnost nastavljanja parametrov.
| Prevladujoči faktor | Vprašanja v skupini |
|---|---|
| Faktor 1 | [[‘A1’, ‘Spletno mesto deluje brez tehničnih težav (1-5)’], [‘A2’, ‘Podana navodila so jasna (1-5)’], [‘A3’, ‘Vmesnik je uporabniku prijazen (1-5)’], [‘A7’, ‘Dejavnosti je mogoče enostavno deliti med uporabniki (1-5)’], [‘A9’, ‘Uporabniki aplikacije zlahka zaženejo (1-5)’], [‘A10’, ‘Skeniranje deluje, kot je treba (1-5)’], [‘A12’, ‘Uporabljena je univerzalna zasnova učenja (1-5)’], [‘B1’, ‘Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5)’], [‘B2’, “Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5)”], [‘B3’, ‘Aplikacije je mogoče vključiti v učni načrt (1-5)’], [‘C5’, ‘Uporabniki so dejavno vključeni v učni proces (1-5)’], [‘C7’, ‘Samovrednotenje motivira učence (1-5)’], [‘C8’, ‘Učenci lahko delajo v svojem tempu (1-5)’], [‘C9’, ‘Podane informacije so povezane z učnimi cilji (1-5)’], [‘C10’, “Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5)”]] |
| Faktor 2 | [[‘A4’, ‘Kakovost grafike (1-5)’], [‘A5’, ‘Aplikacije delujejo v vsaj treh brskalnikih (1-5)’], [‘A6’, ‘Pojavna okna in opozorilna sporočila so v pomoč (1-5)’], [‘A11’, ‘Izpisi so dobre kakovosti (1-5)’], [‘B4’, ‘Vzorčne priprave na pouk so uporabne (1-5)’], [‘C6’, ‘Opombe o metodologijah so v pomoč (1-5)’], [‘C12’, ‘Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5)’]] |
| Faktor 3 | [[‘C11′, “Učitelji lahko zlahka ocenijo napredek učencev (1-5)”]] |
| Faktor 4 | [[‘A8’, ‘Nastavljanje parametrov je preprosto (1-5)’]] |
Kaj to pomeni?
Faktor 1 kaže na močno povezanost med uporabnostjo, učno učinkovitostjo in vključenostjo uporabnikov.
Faktor 2 kaže, da so kakovost grafike, združljivost z brskalniki in strukturirane priprave na pouk med seboj povezani.
Faktorja 3 in 4 sta osamelca; kažeta na samostojna vprašanja, ki se ne povezujejo močno z drugimi.
Rezultati
Ocena izobraževalne tehnološke platforme je bila dosledno pozitivna v vseh 24 merjenih razsežnostih (N=79). Opisna statistika je pokazala visoke povprečne ocene od 4,67 do 4,89 na 5-stopenjski Likertovi lestvici, kar kaže na veliko zadovoljstvo uporabnikov tako s tehničnimi kot s pedagoškimi vidiki platforme.
Opisna analiza
Najvišje ocenjene lastnosti so bile „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (M=4,89, SD=0,32), „Učenci lahko delajo v svojem tempu“ (M=4,87, SD=0,43) ter „Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika“ (M=4,87, SD=0,37), kar kaže na posebno cenjeno pedagoško prilagodljivost in uporabnost platforme. Dobro so bili sprejeti tudi tehnični vidiki; zelo pozitivni oceni sta prejeli „Skeniranje deluje, kot je treba“ (M=4,84, SD=0,46) in „Izpisi so dobre kakovosti“ (M=4,78, SD=0,52).
Analiza variabilnosti odgovorov je prinesla pomembna spoznanja o soglasju med uporabniki. Najmočnejše soglasje med anketiranci (kažejo ga najnižji standardni odkloni) je bilo pri ključnih pedagoških lastnostih: „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (SD=0,32), „Uporabniki so dejavno vključeni v učni proces“ (SD=0,35) in „Podane informacije so povezane z učnimi cilji“ (SD=0,36). Nasprotno je bila večja variabilnost odgovorov (kar kaže na manjše soglasje) opažena pri tehničnih lastnostih, kot so „Spletno mesto deluje brez tehničnih težav“ (SD=0,75), „Dejavnosti je mogoče enostavno deliti med uporabniki“ (SD=0,67) in „Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo“ (SD=0,63).
Korelacijska analiza
Korelacijska analiza je odkrila 11 močnih povezav (r > 0,70) med različnimi razsežnostmi ocenjevanja. Najmočnejše korelacije so bile ugotovljene med „Vmesnik je uporabniku prijazen“ in „Pojavna okna in opozorilna sporočila so v pomoč“ (r=0,78), „Uporabniki aplikacije zlahka zaženejo“ in „Izpisi so dobre kakovosti“ (r=0,76) ter „Dejavnosti je mogoče enostavno deliti med uporabniki“ in „Uporabniki aplikacije zlahka zaženejo“ (r=0,75). Te korelacije kažejo, da je dojemanje kakovosti vmesnika tesno povezano s tem, kako koristne so povratne informacije sistema, ter da je enostavnost uporabe močno povezana s kakovostjo izpisov.
Med pomembnejšimi korelacijami med kategorijami sta bili „Kakovost grafike“ z „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (r=0,71) ter „Spletno mesto deluje brez tehničnih težav“ z „Uporabniki so dejavno vključeni v učni proces“ (r=0,71), kar kaže, da tehnični vidiki delovanja pozitivno vplivajo na dojemanje pedagoške vrednosti.
Faktorska analiza
Eksploratorna faktorska analiza je razkrila štiri ločene skupine značilnosti platforme:
Dejavnik 1 (uporabniška izkušnja in angažiranost pri učenju): Največja skupina, ki vključuje 15 postavk, med drugim uporabnost vmesnika, tehnično zanesljivost, relevantnost za učenje in avtonomijo uporabnika. Ta prevladujoči dejavnik kaže na močno povezanost med tehnično funkcionalnostjo in pedagoško učinkovitostjo, saj enostavna uporaba neposredno podpira angažiranost pri učenju.
Dejavnik 2 (tehnična zmogljivost in dostopnost): Obsega 7 postavk, povezanih z vizualno kakovostjo, združljivostjo med brskalniki, povratnimi informacijami sistema in učnimi viri. Ta skupina kaže, da kakovost izdelkov in strukturirana navodila tvorijo skladen vidik izkušnje s platformo.
Dejavnik 3 (možnost ocenjevanja): Ta dejavnik vsebuje eno samo postavko »Učitelji lahko preprosto ocenjujejo napredek učencev« in se je izoblikoval kot samostojen vidik, ločen od drugih pedagoških funkcij, kar poudarja posebno pomembnost funkcije ocenjevanja.
Dejavnik 4 (nastavitev parametrov): Tudi ta dejavnik vsebuje samo eno postavko, »Nastavljanje parametrov je preprost postopek«. Njegova osamljenost kaže, da nastavitev parametrov predstavlja specifičen vidik izkušnje s platformo, ki si zasluži posebno pozornost.
Skratka, rezultati kažejo visoko splošno zadovoljstvo z izobraževalno tehnološko platformo, še posebej močno soglasje pa je glede njene pedagoške vrednosti. Faktorska analiza razkriva, da uporabniška izkušnja in angažiranost pri učenju sicer tvorita povezano jedro izkušnje, vendar posebne funkcije, kot sta ocenjevanje in nastavitev parametrov, predstavljajo samostojne vidike, ki si pri razvoju in uvajanju platforme zaslužijo posebno obravnavo.
Prenesite raziskovalno datotekoGoogle DriveOb kliku lahko Google shrani piškotkePravilnik o piškotkih





0 Comments