Vrednotenje rezultatov projekta „Using Euros“

Celovita analiza

Povzetek

Študija ocenjuje učinkovitost in uporabnost izdelkov projekta „Using Euros“ na podlagi celovite analize povratnih informacij uporabnikov. Skupaj 79 udeležencev je platformo ocenilo v 24 razsežnostih, ki zajemajo tehnično delovanje, pedagoško vrednost in učno izkušnjo. S 5-stopenjsko Likertovo lestvico so anketiranci ocenjevali vidike, kot so uporabnost vmesnika, tehnična zanesljivost, pedagoška vključitev in učni rezultati. Statistična analiza je odkrila visoko povezane lastnosti in ločene skupine dejavnikov, ki opredeljujejo uporabniško izkušnjo. Rezultati kažejo izjemno pozitiven odziv (povprečne ocene >4,6 v vseh razsežnostih), največje soglasje pa je pri razvoju življenjskih veščin, vključenosti učencev in skladnosti z učnimi cilji. Tehnično delovanje in elementi uporabniške izkušnje so oblikovali najbolj trdno skupino dejavnikov, nastavljanje parametrov in ocenjevanje napredka pa sta se izkazala kot ločeni vprašanji. Raziskava prinaša pomembna spoznanja za razvijalce izobraževalne tehnologije in strokovnjake, ki želijo uvesti učinkovite digitalne učne platforme, v katerih sta tehnična zanesljivost in pedagoška vrednost v ravnovesju.

OPISNA STATISTIKA

  število povprečje std min 25% 50% 75% maks Vprašanje
0 79.0 4.670886075949370 0.7462988847080340 1.0 5.0 5.0 5.0 5.0 Spletno mesto deluje brez tehničnih težav (1-5)
1 79.0 4.7594936708860800 0.5596516744853900 3.0 5.0 5.0 5.0 5.0 Podana navodila so jasna (1-5)
2 79.0 4.746835443037980 0.5654214318990420 3.0 5.0 5.0 5.0 5.0 Vmesnik je uporabniku prijazen (1-5)
3 79.0 4.772151898734180 0.505086108135003 3.0 5.0 5.0 5.0 5.0 Kakovost grafike (1-5)
4 76.0 4.776315789473680 0.505929750341588 3.0 5.0 5.0 5.0 5.0 Aplikacije delujejo v vsaj treh brskalnikih (1-5)
5 76.0 4.723684210526320 0.531631055288692 3.0 5.0 5.0 5.0 5.0 Pojavna okna in opozorilna sporočila so v pomoč (1-5)
6 78.0 4.743589743589740 0.6729639313369270 2.0 5.0 5.0 5.0 5.0 Dejavnosti je mogoče enostavno deliti med uporabniki (1-5)
7 79.0 4.658227848101270 0.5748149300687360 3.0 4.0 5.0 5.0 5.0 Nastavljanje parametrov je preprosto (1-5)
8 79.0 4.69620253164557 0.6066813969699470 3.0 5.0 5.0 5.0 5.0 Uporabniki aplikacije zlahka zaženejo (1-5)
9 79.0 4.8354430379746800 0.46493395579608000 3.0 5.0 5.0 5.0 5.0 Skeniranje deluje, kot je treba (1-5)
10 79.0 4.784810126582280 0.5230797869215380 3.0 5.0 5.0 5.0 5.0 Izpisi so dobre kakovosti (1-5)
11 79.0 4.7974683544303800 0.490414446273684 3.0 5.0 5.0 5.0 5.0 Uporabljena je univerzalna zasnova učenja (1-5)
12 79.0 4.886075949367090 0.31974917141296800 4.0 5.0 5.0 5.0 5.0 Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5)
13 79.0 4.848101265822790 0.4554121152779830 3.0 5.0 5.0 5.0 5.0 Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5)
14 79.0 4.822784810126580 0.4163176077654420 3.0 5.0 5.0 5.0 5.0 Aplikacije je mogoče vključiti v učni načrt (1-5)
15 79.0 4.6835443037974700 0.5671409131068760 3.0 4.0 5.0 5.0 5.0 Vzorčne priprave na pouk so uporabne (1-5)
16 79.0 4.860759493670890 0.34840947082971600 4.0 5.0 5.0 5.0 5.0 Uporabniki so dejavno vključeni v učni proces (1-5)
17 79.0 4.7594936708860800 0.45896175678393700 3.0 5.0 5.0 5.0 5.0 Opombe o metodologijah so v pomoč (1-5)
18 79.0 4.772151898734180 0.5298613047505830 3.0 5.0 5.0 5.0 5.0 Samovrednotenje motivira učence (1-5)
19 79.0 4.8734177215189900 0.4346259401911600 3.0 5.0 5.0 5.0 5.0 Učenci lahko delajo v svojem tempu (1-5)
20 78.0 4.846153846153850 0.36313651960128100 4.0 5.0 5.0 5.0 5.0 Podane informacije so povezane z učnimi cilji (1-5)
21 79.0 4.8734177215189900 0.3709685385649280 3.0 5.0 5.0 5.0 5.0 Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5)
22 79.0 4.772151898734180 0.4790312630611270 3.0 5.0 5.0 5.0 5.0 Učitelji lahko zlahka ocenijo napredek učencev (1-5)
23 79.0 4.69620253164557 0.627457841667814 3.0 5.0 5.0 5.0 5.0 Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5)

Vprašanja z veliko variabilnostjo

Oznaka Vprašanje std
A1 Spletno mesto deluje brez tehničnih težav (1-5) 0.7462988847080340
A7 Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) 0.6729639313369270
C12 Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5) 0.627457841667814
A9 Uporabniki aplikacije zlahka zaženejo (1-5) 0.6066813969699470
A8 Nastavljanje parametrov je preprosto (1-5) 0.5748149300687360

Vprašanja z majhno variabilnostjo

Oznaka Vprašanje std
B1 Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) 0.31974917141296800
C5 Uporabniki so dejavno vključeni v učni proces (1-5) 0.34840947082971600
C9 Podane informacije so povezane z učnimi cilji (1-5) 0.36313651960128100
C10 Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5) 0.3709685385649280
B3 Aplikacije je mogoče vključiti v učni načrt (1-5) 0.4163176077654420

Razumevanje variabilnosti odgovorov (standardni odklon)

Standardni odklon (std) na drugem grafikonu kaže, koliko se odgovori pri posameznem vprašanju razlikujejo od povprečja. Kaj nam pove:

Nizek standardni odklon (blizu 0) → visoko soglasje

Če je standardni odklon blizu 0, to pomeni, da je večina anketirancev dala zelo podobne ocene (npr. vsi so vprašanje ocenili s 5). To kaže na močno soglasje glede ocene.

Primer: Če ima vprašanje o „jasnosti navodil“ std = 0, to pomeni, da so se vsi strinjali z isto oceno (vsi 5 ali vsi 4 itd.).

Visok standardni odklon (nad 0,5) → bolj raznolika mnenja

Višji standardni odklon pomeni, da so se odgovori med anketiranci precej razlikovali. To kaže na mešana mnenja – nekateri so vprašanje ocenili visoko, drugi nizko.

Primer: Če ima vprašanje o „prijaznosti vmesnika“ std = 0,8, to pomeni, da se je nekaterim zdel zelo uporabniku prijazen (5), drugi pa so ga ocenili nižje (3–4), kar kaže na neskladje mnenj.

Zakaj je variabilnost pomembna?

  • Nizka variabilnost → kaže na močno soglasje (lastnost je res zelo dobra ali res zelo slaba).
  • Visoka variabilnost → opozarja na področja za izboljšave (nekateri uporabniki so zadovoljni, drugi ne, kar kaže na težave z uporabnostjo).

Vprašanja z visokim standardnim odklonom bi bilo morda treba dodatno raziskati, da bi ugotovili, zakaj so mnenja deljena.

Kategorija vprašanja

Kategorija Vprašanje
A1 Spletno mesto deluje brez tehničnih težav (1-5)
A2 Podana navodila so jasna (1-5)
A3 Vmesnik je uporabniku prijazen (1-5)
A4 Kakovost grafike (1-5)
A5 Aplikacije delujejo v vsaj treh brskalnikih (1-5)
A6 Pojavna okna in opozorilna sporočila so v pomoč (1-5)
A7 Dejavnosti je mogoče enostavno deliti med uporabniki (1-5)
A8 Nastavljanje parametrov je preprosto (1-5)
A9 Uporabniki aplikacije zlahka zaženejo (1-5)
A10 Skeniranje deluje, kot je treba (1-5)
A11 Izpisi so dobre kakovosti (1-5)
A12 Uporabljena je univerzalna zasnova učenja (1-5)
B1 Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5)
B2 Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5)
B3 Aplikacije je mogoče vključiti v učni načrt (1-5)
B4 Vzorčne priprave na pouk so uporabne (1-5)
C5 Uporabniki so dejavno vključeni v učni proces (1-5)
C6 Opombe o metodologijah so v pomoč (1-5)
C7 Samovrednotenje motivira učence (1-5)
C8 Učenci lahko delajo v svojem tempu (1-5)
C9 Podane informacije so povezane z učnimi cilji (1-5)
C10 Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5)
C11 Učitelji lahko zlahka ocenijo napredek učencev (1-5)
C12 Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5)

KORELACIJE MED VPRAŠANJI

Najmočnejše korelacije med vprašanji (korelacija nad 0,7), ki kažejo, da so odgovori na ta vprašanja zelo povezani.

Oznaka 1 Vprašanje 1 Besedilo vprašanja 1 Oznaka 2 Vprašanje 2 Besedilo vprašanja 2 Korelacija
A1 0 Spletno mesto deluje brez tehničnih težav (1-5) C5 16 Uporabniki so dejavno vključeni v učni proces (1-5) 0.7090125015101340
A2 1 Podana navodila so jasna (1-5) A9 8 Uporabniki aplikacije zlahka zaženejo (1-5) 0.7260350618403750
A3 2 Vmesnik je uporabniku prijazen (1-5) A6 5 Pojavna okna in opozorilna sporočila so v pomoč (1-5) 0.781614675979465
A4 3 Kakovost grafike (1-5) A11 10 Izpisi so dobre kakovosti (1-5) 0.734028376223487
A4 3 Kakovost grafike (1-5) B1 12 Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5) 0.7104325775692570
A6 5 Pojavna okna in opozorilna sporočila so v pomoč (1-5) B3 14 Aplikacije je mogoče vključiti v učni načrt (1-5) 0.7192552903761100
A7 6 Dejavnosti je mogoče enostavno deliti med uporabniki (1-5) A9 8 Uporabniki aplikacije zlahka zaženejo (1-5) 0.7548860451594470
A9 8 Uporabniki aplikacije zlahka zaženejo (1-5) A11 10 Izpisi so dobre kakovosti (1-5) 0.7609438667598360
A10 9 Skeniranje deluje, kot je treba (1-5) A11 10 Izpisi so dobre kakovosti (1-5) 0.7487071134303000
A10 9 Skeniranje deluje, kot je treba (1-5) A12 11 Uporabljena je univerzalna zasnova učenja (1-5) 0.7516016138604400
C6 17 Opombe o metodologijah so v pomoč (1-5) C9 20 Podane informacije so povezane z učnimi cilji (1-5) 0.7040041483986320

ANALIZA SKUPIN

Skupine vprašanj, ugotovljene na podlagi eksploratorne faktorske analize (EFA):

Skupine in njihova združena vprašanja:

Faktor 1 (največja skupina):

  • Osredotoča se na uporabnost, uporabniško izkušnjo in vključenost v učenje.
  • Zajema vprašanja o prijaznosti vmesnika, jasnosti navodil, enostavnosti uporabe, povratnih informacijah in učenju v lastnem tempu.

Faktor 2:

  • Nanaša se na tehnično delovanje in dostopnost.
  • Zajema vprašanja o kakovosti grafike, združljivosti z brskalniki, koristnih opozorilih, kakovosti izpisov in pripravah na pouk.

Faktor 3:

Vsebuje samo eno vprašanje, ki se nanaša na ocenjevanje napredka učencev s strani učiteljev.

Faktor 4:

Prav tako vsebuje samo eno vprašanje, osredotočeno na enostavnost nastavljanja parametrov.

Prevladujoči faktor Vprašanja v skupini
Faktor 1 [[‘A1’, ‘Spletno mesto deluje brez tehničnih težav (1-5)’], [‘A2’, ‘Podana navodila so jasna (1-5)’], [‘A3’, ‘Vmesnik je uporabniku prijazen (1-5)’], [‘A7’, ‘Dejavnosti je mogoče enostavno deliti med uporabniki (1-5)’], [‘A9’, ‘Uporabniki aplikacije zlahka zaženejo (1-5)’], [‘A10’, ‘Skeniranje deluje, kot je treba (1-5)’], [‘A12’, ‘Uporabljena je univerzalna zasnova učenja (1-5)’], [‘B1’, ‘Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine (1-5)’], [‘B2’, “Povratne informacije učiteljem pomagajo spremljati napredek učenca (1-5)”], [‘B3’, ‘Aplikacije je mogoče vključiti v učni načrt (1-5)’], [‘C5’, ‘Uporabniki so dejavno vključeni v učni proces (1-5)’], [‘C7’, ‘Samovrednotenje motivira učence (1-5)’], [‘C8’, ‘Učenci lahko delajo v svojem tempu (1-5)’], [‘C9’, ‘Podane informacije so povezane z učnimi cilji (1-5)’], [‘C10’, “Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika (1-5)”]]
Faktor 2 [[‘A4’, ‘Kakovost grafike (1-5)’], [‘A5’, ‘Aplikacije delujejo v vsaj treh brskalnikih (1-5)’], [‘A6’, ‘Pojavna okna in opozorilna sporočila so v pomoč (1-5)’], [‘A11’, ‘Izpisi so dobre kakovosti (1-5)’], [‘B4’, ‘Vzorčne priprave na pouk so uporabne (1-5)’], [‘C6’, ‘Opombe o metodologijah so v pomoč (1-5)’], [‘C12’, ‘Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo (1-5)’]]
Faktor 3 [[‘C11′, “Učitelji lahko zlahka ocenijo napredek učencev (1-5)”]]
Faktor 4 [[‘A8’, ‘Nastavljanje parametrov je preprosto (1-5)’]]

 

Kaj to pomeni?

Faktor 1 kaže na močno povezanost med uporabnostjo, učno učinkovitostjo in vključenostjo uporabnikov.

Faktor 2 kaže, da so kakovost grafike, združljivost z brskalniki in strukturirane priprave na pouk med seboj povezani.

Faktorja 3 in 4 sta osamelca; kažeta na samostojna vprašanja, ki se ne povezujejo močno z drugimi.

Rezultati

Ocena izobraževalne tehnološke platforme je bila dosledno pozitivna v vseh 24 merjenih razsežnostih (N=79). Opisna statistika je pokazala visoke povprečne ocene od 4,67 do 4,89 na 5-stopenjski Likertovi lestvici, kar kaže na veliko zadovoljstvo uporabnikov tako s tehničnimi kot s pedagoškimi vidiki platforme.

Opisna analiza

Najvišje ocenjene lastnosti so bile „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (M=4,89, SD=0,32), „Učenci lahko delajo v svojem tempu“ (M=4,87, SD=0,43) ter „Učitelji/starši lahko dejavnosti zlahka prilagodijo potrebam uporabnika“ (M=4,87, SD=0,37), kar kaže na posebno cenjeno pedagoško prilagodljivost in uporabnost platforme. Dobro so bili sprejeti tudi tehnični vidiki; zelo pozitivni oceni sta prejeli „Skeniranje deluje, kot je treba“ (M=4,84, SD=0,46) in „Izpisi so dobre kakovosti“ (M=4,78, SD=0,52).

Analiza variabilnosti odgovorov je prinesla pomembna spoznanja o soglasju med uporabniki. Najmočnejše soglasje med anketiranci (kažejo ga najnižji standardni odkloni) je bilo pri ključnih pedagoških lastnostih: „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (SD=0,32), „Uporabniki so dejavno vključeni v učni proces“ (SD=0,35) in „Podane informacije so povezane z učnimi cilji“ (SD=0,36). Nasprotno je bila večja variabilnost odgovorov (kar kaže na manjše soglasje) opažena pri tehničnih lastnostih, kot so „Spletno mesto deluje brez tehničnih težav“ (SD=0,75), „Dejavnosti je mogoče enostavno deliti med uporabniki“ (SD=0,67) in „Dejavnosti je mogoče uporabiti za skupinsko in za individualno delo“ (SD=0,63).

Korelacijska analiza

Korelacijska analiza je odkrila 11 močnih povezav (r > 0,70) med različnimi razsežnostmi ocenjevanja. Najmočnejše korelacije so bile ugotovljene med „Vmesnik je uporabniku prijazen“ in „Pojavna okna in opozorilna sporočila so v pomoč“ (r=0,78), „Uporabniki aplikacije zlahka zaženejo“ in „Izpisi so dobre kakovosti“ (r=0,76) ter „Dejavnosti je mogoče enostavno deliti med uporabniki“ in „Uporabniki aplikacije zlahka zaženejo“ (r=0,75). Te korelacije kažejo, da je dojemanje kakovosti vmesnika tesno povezano s tem, kako koristne so povratne informacije sistema, ter da je enostavnost uporabe močno povezana s kakovostjo izpisov.

Med pomembnejšimi korelacijami med kategorijami sta bili „Kakovost grafike“ z „Veščine, ki jih je treba pridobiti, so pomembne življenjske veščine“ (r=0,71) ter „Spletno mesto deluje brez tehničnih težav“ z „Uporabniki so dejavno vključeni v učni proces“ (r=0,71), kar kaže, da tehnični vidiki delovanja pozitivno vplivajo na dojemanje pedagoške vrednosti.

Faktorska analiza

Eksploratorna faktorska analiza je razkrila štiri ločene skupine značilnosti platforme:

Dejavnik 1 (uporabniška izkušnja in angažiranost pri učenju): Največja skupina, ki vključuje 15 postavk, med drugim uporabnost vmesnika, tehnično zanesljivost, relevantnost za učenje in avtonomijo uporabnika. Ta prevladujoči dejavnik kaže na močno povezanost med tehnično funkcionalnostjo in pedagoško učinkovitostjo, saj enostavna uporaba neposredno podpira angažiranost pri učenju.

Dejavnik 2 (tehnična zmogljivost in dostopnost): Obsega 7 postavk, povezanih z vizualno kakovostjo, združljivostjo med brskalniki, povratnimi informacijami sistema in učnimi viri. Ta skupina kaže, da kakovost izdelkov in strukturirana navodila tvorijo skladen vidik izkušnje s platformo.

Dejavnik 3 (možnost ocenjevanja): Ta dejavnik vsebuje eno samo postavko »Učitelji lahko preprosto ocenjujejo napredek učencev« in se je izoblikoval kot samostojen vidik, ločen od drugih pedagoških funkcij, kar poudarja posebno pomembnost funkcije ocenjevanja.

Dejavnik 4 (nastavitev parametrov): Tudi ta dejavnik vsebuje samo eno postavko, »Nastavljanje parametrov je preprost postopek«. Njegova osamljenost kaže, da nastavitev parametrov predstavlja specifičen vidik izkušnje s platformo, ki si zasluži posebno pozornost.

Skratka, rezultati kažejo visoko splošno zadovoljstvo z izobraževalno tehnološko platformo, še posebej močno soglasje pa je glede njene pedagoške vrednosti. Faktorska analiza razkriva, da uporabniška izkušnja in angažiranost pri učenju sicer tvorita povezano jedro izkušnje, vendar posebne funkcije, kot sta ocenjevanje in nastavitev parametrov, predstavljajo samostojne vidike, ki si pri razvoju in uvajanju platforme zaslužijo posebno obravnavo.

Prenesite raziskovalno datotekoGoogle DriveOb kliku lahko Google shrani piškotkePravilnik o piškotkih


Kliknite tukaj za ogled člankov v grščini
Kliknite tukaj za ogled člankov v grščini
Kliknite tukaj za ogled člankov v portugalščini
Kliknite tukaj za ogled člankov v španščini
Kliknite tukaj za ogled člankov v angleščini

0 Comments

Pošlji komentar

Vaš e-poštni naslov ne bo objavljen. Obvezna polja so označena *


Pomagajte nam razširiti besedo o tem projektu in z eno od spodnjih povezav delite ta prispevek na družbenih omrežjih!