“Using Euros” -hankkeen tulosten arviointi

Kattava analyysi

Tiivistelmä

Tässä tutkimuksessa arvioidaan “Using Euros” -hankkeessa tuotettujen tulosten tehokkuutta ja käytettävyyttä kattavan käyttäjäpalauteanalyysin avulla. Yhteensä 79 osallistujaa arvioi alustaa 24 ulottuvuudella, jotka kattoivat tekniset toiminnot, pedagogisen arvon ja oppimiskokemuksen. Vastaajat arvioivat viiden pisteen Likert-asteikolla muun muassa käyttöliittymän käytettävyyttä, teknistä luotettavuutta, pedagogista integrointia ja oppimistuloksia. Tilastollisessa analyysissä tunnistettiin voimakkaasti korreloivia ominaisuuksia sekä erilliset tekijäryhmät, jotka kuvaavat käyttäjäkokemusta. Tulokset osoittavat erittäin myönteisen vastaanoton (keskiarvot >4.6 kaikilla ulottuvuuksilla). Yksimielisimpiä vastaajat olivat elämäntaitojen kehittymisestä, oppijoiden sitoutumisesta ja oppimistavoitteiden mukaisuudesta. Tekninen toimivuus ja käyttökokemuksen osa-alueet muodostivat vahvimman tekijäryhmän, kun taas parametrien määrittäminen ja edistymisen arviointi erottuivat omiksi kokonaisuuksikseen. Tutkimus tarjoaa tärkeää tietoa opetusteknologian kehittäjille ja ammattilaisille, jotka haluavat ottaa käyttöön tehokkaita digitaalisia oppimisalustoja, joissa tekninen luotettavuus ja pedagoginen arvo ovat tasapainossa.

KUVAILEVAT TILASTOT

  lukumäärä keskiarvo keskihajonta min 25% 50% 75% max Kysymys
0 79.0 4.670886075949370 0.7462988847080340 1.0 5.0 5.0 5.0 5.0 Verkkosivusto toimii ilman teknisiä häiriöitä (1-5)
1 79.0 4.7594936708860800 0.5596516744853900 3.0 5.0 5.0 5.0 5.0 Annetut ohjeet ovat selkeät (1-5)
2 79.0 4.746835443037980 0.5654214318990420 3.0 5.0 5.0 5.0 5.0 Käyttöliittymä on käyttäjäystävällinen (1-5)
3 79.0 4.772151898734180 0.505086108135003 3.0 5.0 5.0 5.0 5.0 Grafiikan laatu (1-5)
4 76.0 4.776315789473680 0.505929750341588 3.0 5.0 5.0 5.0 5.0 Sovellukset toimivat vähintään kolmella selaimella (1-5)
5 76.0 4.723684210526320 0.531631055288692 3.0 5.0 5.0 5.0 5.0 Ponnahdus- ja varoitusviestit ovat hyödyllisiä (1-5)
6 78.0 4.743589743589740 0.6729639313369270 2.0 5.0 5.0 5.0 5.0 Tehtävät on helppo jakaa muiden käyttäjien kanssa (1-5)
7 79.0 4.658227848101270 0.5748149300687360 3.0 4.0 5.0 5.0 5.0 Parametrien asettaminen on helppoa (1-5)
8 79.0 4.69620253164557 0.6066813969699470 3.0 5.0 5.0 5.0 5.0 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5)
9 79.0 4.8354430379746800 0.46493395579608000 3.0 5.0 5.0 5.0 5.0 Skannaus toimii vaaditulla tavalla (1-5)
10 79.0 4.784810126582280 0.5230797869215380 3.0 5.0 5.0 5.0 5.0 Tulosteet ovat laadukkaita (1-5)
11 79.0 4.7974683544303800 0.490414446273684 3.0 5.0 5.0 5.0 5.0 Universaalia oppimisen suunnittelua sovelletaan (1-5)
12 79.0 4.886075949367090 0.31974917141296800 4.0 5.0 5.0 5.0 5.0 Opeteltavat taidot ovat tärkeitä elämäntaitoja (1-5)
13 79.0 4.848101265822790 0.4554121152779830 3.0 5.0 5.0 5.0 5.0 Palaute auttaa opettajia seuraamaan oppilaan edistymistä (1-5)
14 79.0 4.822784810126580 0.4163176077654420 3.0 5.0 5.0 5.0 5.0 Sovellukset voidaan sisällyttää opetussuunnitelmaan (1-5)
15 79.0 4.6835443037974700 0.5671409131068760 3.0 4.0 5.0 5.0 5.0 Esimerkkituntisuunnitelmat ovat hyödyllisiä (1-5)
16 79.0 4.860759493670890 0.34840947082971600 4.0 5.0 5.0 5.0 5.0 Käyttäjät osallistuvat aktiivisesti oppimisprosessiin (1-5)
17 79.0 4.7594936708860800 0.45896175678393700 3.0 5.0 5.0 5.0 5.0 Menetelmiä koskevat huomautukset ovat hyödyllisiä (1-5)
18 79.0 4.772151898734180 0.5298613047505830 3.0 5.0 5.0 5.0 5.0 Itsearviointi motivoi oppilaita (1-5)
19 79.0 4.8734177215189900 0.4346259401911600 3.0 5.0 5.0 5.0 5.0 Oppilaat voivat edetä omaan tahtiinsa (1-5)
20 78.0 4.846153846153850 0.36313651960128100 4.0 5.0 5.0 5.0 5.0 Annettu tieto liittyy oppimistavoitteisiin (1-5)
21 79.0 4.8734177215189900 0.3709685385649280 3.0 5.0 5.0 5.0 5.0 Opettajat/vanhemmat voivat helposti mukauttaa tehtävät käyttäjän tarpeisiin (1-5)
22 79.0 4.772151898734180 0.4790312630611270 3.0 5.0 5.0 5.0 5.0 Opettajat voivat helposti arvioida oppilaiden edistymistä (1-5)
23 79.0 4.69620253164557 0.627457841667814 3.0 5.0 5.0 5.0 5.0 Tehtäviä voi käyttää sekä ryhmätyöhön että yksilötyöhön (1-5)

Kysymykset, joissa on paljon vaihtelua

Tunniste Kysymys keskihajonta
A1 Verkkosivusto toimii ilman teknisiä häiriöitä (1-5) 0.7462988847080340
A7 Tehtävät on helppo jakaa muiden käyttäjien kanssa (1-5) 0.6729639313369270
C12 Tehtäviä voi käyttää sekä ryhmätyöhön että yksilötyöhön (1-5) 0.627457841667814
A9 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5) 0.6066813969699470
A8 Parametrien asettaminen on helppoa (1-5) 0.5748149300687360

Kysymykset, joissa on vähän vaihtelua

Tunniste Kysymys keskihajonta
B1 Opeteltavat taidot ovat tärkeitä elämäntaitoja (1-5) 0.31974917141296800
C5 Käyttäjät osallistuvat aktiivisesti oppimisprosessiin (1-5) 0.34840947082971600
C9 Annettu tieto liittyy oppimistavoitteisiin (1-5) 0.36313651960128100
C10 Opettajat/vanhemmat voivat helposti mukauttaa tehtävät käyttäjän tarpeisiin (1-5) 0.3709685385649280
B3 Sovellukset voidaan sisällyttää opetussuunnitelmaan (1-5) 0.4163176077654420

Vastausten vaihtelun ymmärtäminen (keskihajonta)

Toisen kaavion keskihajonta (std) kuvaa, kuinka paljon kunkin kysymyksen vastaukset poikkeavat keskiarvosta. Se kertoo seuraavaa:

Pieni keskihajonta (lähellä nollaa) → vahva yksimielisyys

Jos keskihajonta on lähellä nollaa, useimmat vastaajat antoivat hyvin samanlaisia arvioita (esim. kaikki antoivat kysymykselle arvosanan 5). Tämä kertoo vahvasta yksimielisyydestä arvioinnissa.

Esimerkki: Jos ohjeiden selkeyttä koskevan kysymyksen keskihajonta on 0, kaikki olivat samaa mieltä tietystä pistemäärästä (kaikki antoivat arvosanan 5 tai kaikki 4 jne.).

Suuri keskihajonta (yli 0.5) → monipuolisemmat mielipiteet

Suurempi keskihajonta tarkoittaa, että vastaukset vaihtelivat vastaajien kesken merkittävästi. Tämä viittaa erilaisiin mielipiteisiin: jotkut antoivat korkean arvosanan, toiset matalan.

Esimerkki: Jos käyttöliittymän ystävällisyyttä koskevan kysymyksen keskihajonta on 0.8, osa piti sitä erittäin käyttäjäystävällisenä (5) ja osa antoi matalamman arvosanan (3-4), eli mielipiteet erosivat.

Miksi vaihtelu on tärkeää?

  • Pieni vaihtelu → Kertoo vahvasta yksimielisyydestä (ominaisuus on joko todella hyvä tai todella huono).
  • Suuri vaihtelu → Osoittaa parannuskohteet (jotkut käyttäjät ovat tyytyväisiä, toiset eivät, mikä viittaa käytettävyysongelmiin).

Kysymyksiä, joissa on suuri keskihajonta, kannattaa tutkia tarkemmin, jotta selviää, miksi mielipiteet jakautuvat.

Kysymyskategoria

Kategoria Kysymys
A1 Verkkosivusto toimii ilman teknisiä häiriöitä (1-5)
A2 Annetut ohjeet ovat selkeät (1-5)
A3 Käyttöliittymä on käyttäjäystävällinen (1-5)
A4 Grafiikan laatu (1-5)
A5 Sovellukset toimivat vähintään kolmella selaimella (1-5)
A6 Ponnahdus- ja varoitusviestit ovat hyödyllisiä (1-5)
A7 Tehtävät on helppo jakaa muiden käyttäjien kanssa (1-5)
A8 Parametrien asettaminen on helppoa (1-5)
A9 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5)
A10 Skannaus toimii vaaditulla tavalla (1-5)
A11 Tulosteet ovat laadukkaita (1-5)
A12 Universaalia oppimisen suunnittelua sovelletaan (1-5)
B1 Opeteltavat taidot ovat tärkeitä elämäntaitoja (1-5)
B2 Palaute auttaa opettajia seuraamaan oppilaan edistymistä (1-5)
B3 Sovellukset voidaan sisällyttää opetussuunnitelmaan (1-5)
B4 Esimerkkituntisuunnitelmat ovat hyödyllisiä (1-5)
C5 Käyttäjät osallistuvat aktiivisesti oppimisprosessiin (1-5)
C6 Menetelmiä koskevat huomautukset ovat hyödyllisiä (1-5)
C7 Itsearviointi motivoi oppilaita (1-5)
C8 Oppilaat voivat edetä omaan tahtiinsa (1-5)
C9 Annettu tieto liittyy oppimistavoitteisiin (1-5)
C10 Opettajat/vanhemmat voivat helposti mukauttaa tehtävät käyttäjän tarpeisiin (1-5)
C11 Opettajat voivat helposti arvioida oppilaiden edistymistä (1-5)
C12 Tehtäviä voi käyttää sekä ryhmätyöhön että yksilötyöhön (1-5)

KYSYMYSTEN VÄLISET KORRELAATIOT

Kysymysten väliset vahvimmat korrelaatiot (korrelaatio yli 0.7), jotka osoittavat, että vastaukset näihin kysymyksiin liittyvät voimakkaasti toisiinsa.

Tunniste 1 Kysymys 1 Kysymyksen 1 teksti Tunniste 2 Kysymys 2 Kysymyksen 2 teksti Korrelaatio
A1 0 Verkkosivusto toimii ilman teknisiä häiriöitä (1-5) C5 16 Käyttäjät osallistuvat aktiivisesti oppimisprosessiin (1-5) 0.7090125015101340
A2 1 Annetut ohjeet ovat selkeät (1-5) A9 8 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5) 0.7260350618403750
A3 2 Käyttöliittymä on käyttäjäystävällinen (1-5) A6 5 Ponnahdus- ja varoitusviestit ovat hyödyllisiä (1-5) 0.781614675979465
A4 3 Grafiikan laatu (1-5) A11 10 Tulosteet ovat laadukkaita (1-5) 0.734028376223487
A4 3 Grafiikan laatu (1-5) B1 12 Opeteltavat taidot ovat tärkeitä elämäntaitoja (1-5) 0.7104325775692570
A6 5 Ponnahdus- ja varoitusviestit ovat hyödyllisiä (1-5) B3 14 Sovellukset voidaan sisällyttää opetussuunnitelmaan (1-5) 0.7192552903761100
A7 6 Tehtävät on helppo jakaa muiden käyttäjien kanssa (1-5) A9 8 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5) 0.7548860451594470
A9 8 Käyttäjät saavat sovellukset helposti käynnistettyä (1-5) A11 10 Tulosteet ovat laadukkaita (1-5) 0.7609438667598360
A10 9 Skannaus toimii vaaditulla tavalla (1-5) A11 10 Tulosteet ovat laadukkaita (1-5) 0.7487071134303000
A10 9 Skannaus toimii vaaditulla tavalla (1-5) A12 11 Universaalia oppimisen suunnittelua sovelletaan (1-5) 0.7516016138604400
C6 17 Menetelmiä koskevat huomautukset ovat hyödyllisiä (1-5) C9 20 Annettu tieto liittyy oppimistavoitteisiin (1-5) 0.7040041483986320

KLUSTERIANALYYSI

Tutkivaan faktorianalyysiin (EFA) perustuvat tunnistetut kysymysklusterit:

Klusterit & niihin ryhmitellyt kysymykset:

Tekijä 1 (suurin klusteri):

  • Keskittyy käytettävyyteen, käyttökokemukseen ja oppimiseen sitoutumiseen.
  • Sisältää kysymykset käyttöliittymän ystävällisyydestä, ohjeiden selkeydestä, helppokäyttöisyydestä, palautteesta ja omaan tahtiin etenevästä oppimisesta.

Tekijä 2:

  • Liittyy tekniseen suorituskykyyn & saavutettavuuteen.
  • Sisältää kysymykset grafiikan laadusta, selainyhteensopivuudesta, hyödyllisistä varoituksista, tulostuslaadusta ja tuntisuunnitelmista.

Tekijä 3:

Sisältää vain yhden kysymyksen, joka koskee opettajien tekemää oppilaiden edistymisen arviointia.

Tekijä 4:

Sisältää myös vain yhden kysymyksen, joka koskee parametrien asettamisen helppoutta.

Hallitseva tekijä Klusterin kysymykset
Tekijä 1 [[‘A1’, ‘Verkkosivusto toimii ilman teknisiä häiriöitä (1-5)’], [‘A2’, ‘Annetut ohjeet ovat selkeät (1-5)’], [‘A3’, ‘Käyttöliittymä on käyttäjäystävällinen (1-5)’], [‘A7’, ‘Tehtävät on helppo jakaa muiden käyttäjien kanssa (1-5)’], [‘A9’, ‘Käyttäjät saavat sovellukset helposti käynnistettyä (1-5)’], [‘A10’, ‘Skannaus toimii vaaditulla tavalla (1-5)’], [‘A12’, ‘Universaalia oppimisen suunnittelua sovelletaan (1-5)’], [‘B1’, ‘Opeteltavat taidot ovat tärkeitä elämäntaitoja (1-5)’], [‘B2’, “Palaute auttaa opettajia seuraamaan oppilaan edistymistä (1-5)”], [‘B3’, ‘Sovellukset voidaan sisällyttää opetussuunnitelmaan (1-5)’], [‘C5’, ‘Käyttäjät osallistuvat aktiivisesti oppimisprosessiin (1-5)’], [‘C7’, ‘Itsearviointi motivoi oppilaita (1-5)’], [‘C8’, ‘Oppilaat voivat edetä omaan tahtiinsa (1-5)’], [‘C9’, ‘Annettu tieto liittyy oppimistavoitteisiin (1-5)’], [‘C10’, “Opettajat/vanhemmat voivat helposti mukauttaa tehtävät käyttäjän tarpeisiin (1-5)”]]
Tekijä 2 [[‘A4’, ‘Grafiikan laatu (1-5)’], [‘A5’, ‘Sovellukset toimivat vähintään kolmella selaimella (1-5)’], [‘A6’, ‘Ponnahdus- ja varoitusviestit ovat hyödyllisiä (1-5)’], [‘A11’, ‘Tulosteet ovat laadukkaita (1-5)’], [‘B4’, ‘Esimerkkituntisuunnitelmat ovat hyödyllisiä (1-5)’], [‘C6’, ‘Menetelmiä koskevat huomautukset ovat hyödyllisiä (1-5)’], [‘C12’, ‘Tehtäviä voi käyttää sekä ryhmätyöhön että yksilötyöhön (1-5)’]]
Tekijä 3 [[‘C11′, “Opettajat voivat helposti arvioida oppilaiden edistymistä (1-5)”]]
Tekijä 4 [[‘A8’, ‘Parametrien asettaminen on helppoa (1-5)’]]

 

Mitä tämä tarkoittaa?

Tekijä 1 viittaa vahvaan yhteyteen käytettävyyden, oppimisen tehokkuuden ja käyttäjien sitoutumisen välillä.

Tekijä 2 osoittaa, että grafiikan laatu, selainyhteensopivuus ja jäsennellyt tuntisuunnitelmat liittyvät toisiinsa.

Tekijät 3 & 4 ovat poikkeavia: ne ovat erillisiä huolenaiheita, jotka eivät ryhmity selvästi muiden kanssa.

Tulokset

Opetusteknologia-alustan arviointi tuotti johdonmukaisen myönteisiä arvioita kaikilla 24 mitatulla ulottuvuudella (N=79). Kuvailevat tilastot osoittivat korkeita keskiarvoja, jotka vaihtelivat viiden pisteen Likert-asteikolla välillä 4.67–4.89. Tämä kertoo käyttäjien vahvasta tyytyväisyydestä alustan sekä teknisiin että pedagogisiin ominaisuuksiin.

Kuvaileva analyysi

Parhaiten arvioidut ominaisuudet olivat “Opeteltavat taidot ovat tärkeitä elämäntaitoja” (M=4.89, SD=0.32), “Oppilaat voivat edetä omaan tahtiinsa” (M=4.87, SD=0.43) ja “Opettajat/vanhemmat voivat helposti mukauttaa tehtävät käyttäjän tarpeisiin” (M=4.87, SD=0.37), mikä osoittaa erityistä arvostusta alustan pedagogista joustavuutta ja merkityksellisyyttä kohtaan. Myös tekniset ominaisuudet saivat hyvän vastaanoton: “Skannaus toimii vaaditulla tavalla” (M=4.84, SD=0.46) ja “Tulosteet ovat laadukkaita” (M=4.78, SD=0.52) saivat vahvasti myönteiset arviot.

Vastausten vaihtelun analyysi toi esiin tärkeitä havaintoja käyttäjien yksimielisyydestä. Vastaajat olivat yksimielisimpiä (pienimmät keskihajonnat) keskeisistä pedagogisista ominaisuuksista: “Opeteltavat taidot ovat tärkeitä elämäntaitoja” (SD=0.32), “Käyttäjät osallistuvat aktiivisesti oppimisprosessiin” (SD=0.35) ja “Annettu tieto liittyy oppimistavoitteisiin” (SD=0.36). Sen sijaan vastaukset vaihtelivat enemmän (eli yksimielisyyttä oli vähemmän) teknisissä ominaisuuksissa, kuten “Verkkosivusto toimii ilman teknisiä häiriöitä” (SD=0.75), “Tehtävät on helppo jakaa muiden käyttäjien kanssa” (SD=0.67) ja “Tehtäviä voi käyttää sekä ryhmätyöhön että yksilötyöhön” (SD=0.63).

Korrelaatioanalyysi

Korrelaatioanalyysi tunnisti 11 vahvaa yhteyttä (r > 0.70) eri arviointiulottuvuuksien välillä. Vahvimmat korrelaatiot havaittiin kohtien “Käyttöliittymä on käyttäjäystävällinen” ja “Ponnahdus- ja varoitusviestit ovat hyödyllisiä” (r=0.78), “Käyttäjät saavat sovellukset helposti käynnistettyä” ja “Tulosteet ovat laadukkaita” (r=0.76) sekä “Tehtävät on helppo jakaa muiden käyttäjien kanssa” ja “Käyttäjät saavat sovellukset helposti käynnistettyä” (r=0.75) välillä. Nämä korrelaatiot viittaavat siihen, että käyttäjien käsitys käyttöliittymän laadusta liittyy läheisesti järjestelmän antaman palautteen hyödyllisyyteen ja että käyttömukavuus korreloi vahvasti tulosteiden laadun kanssa.

Merkittäviä kategorioiden välisiä korrelaatioita olivat “Grafiikan laatu” ja “Opeteltavat taidot ovat tärkeitä elämäntaitoja” (r=0.71) sekä “Verkkosivusto toimii ilman teknisiä häiriöitä” ja “Käyttäjät osallistuvat aktiivisesti oppimisprosessiin” (r=0.71). Ne osoittavat, että tekninen toimivuus vaikuttaa myönteisesti käsitykseen pedagogisesta arvosta.

Faktorianalyysi

Tutkiva faktorianalyysi paljasti neljä erillistä alustan ominaisuuksien klusteria:

Tekijä 1 (käyttökokemus ja oppimiseen sitoutuminen): Suurin ryhmä, johon kuuluu 15 osiota, kuten käyttöliittymän helppokäyttöisyys, tekninen luotettavuus, oppimisen relevanssi ja käyttäjän omatoimisuus. Tämä hallitseva tekijä viittaa vahvaan yhteyteen teknisen toimivuuden ja pedagogisen tehokkuuden välillä: helppokäyttöisyys tukee suoraan oppimiseen sitoutumista.

Tekijä 2 (tekninen suorituskyky ja saavutettavuus): Koostuu seitsemästä osiosta, jotka liittyvät visuaaliseen laatuun, selainyhteensopivuuteen, järjestelmän antamaan palautteeseen ja opetusmateriaaleihin. Tämä ryhmä osoittaa, että tuotosten laatu ja jäsennelty ohjaus muodostavat yhtenäisen osan alustan käyttökokemusta.

Tekijä 3 (arviointimahdollisuudet): Tämä tekijä sisältää vain yhden osion, “Opettajat voivat helposti arvioida oppilaiden edistymistä”, ja se erottui omaksi kokonaisuudekseen muista pedagogisista ominaisuuksista. Se korostaa arviointitoiminnon erityistä merkitystä.

Tekijä 4 (parametrien määrittäminen): Myös tämä tekijä sisältää vain yhden osion, “Parametrien asettaminen on helppoa”. Sen erillisyys viittaa siihen, että parametrien määrittäminen on alustan käyttökokemuksen erityinen osa-alue, joka ansaitsee oman huomionsa.

Yhteenvetona tulokset osoittavat, että tyytyväisyys opetusteknologian alustaan on kokonaisuudessaan korkea ja että sen pedagogisesta arvosta vallitsee erityisen vahva yhteisymmärrys. Faktorianalyysi osoittaa, että käyttökokemus ja oppimiseen sitoutuminen muodostavat yhtenäisen ydinkokemuksen, mutta esimerkiksi arviointi ja parametrien määrittäminen ovat erillisiä osa-alueita, jotka ansaitsevat erityistä huomiota alustan kehittämisessä ja käyttöönotossa.

Lataa tutkimustiedostoGoogle DriveKlikatessa Google voi tallentaa evästeitäEvästekäytäntö


Katso artikkelit kreikaksi napsauttamalla tästä
Katso artikkelit kreikaksi napsauttamalla tästä
Katso artikkelit portugaliksi napsauttamalla tästä
Katso artikkelit espanjaksi napsauttamalla tästä
Katso artikkelit englanniksi napsauttamalla tästä

0 Comments

Lähetä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *


Auta meitä levittämään tietoa tästä hankkeesta jakamalla tämä julkaisu sosiaalisessa mediassa jonkin alla olevan linkin kautta!