Avaliação dos Resultados do Projeto "Usando Euros"
Uma Análise Abrangente
Resumo
Este estudo avalia a eficácia e usabilidade dos resultados produzidos pelo projeto "Usando Euros" através de uma análise abrangente de feedback dos utilizadores. Um total de 79 participantes avaliou a plataforma em 24 dimensões abrangendo funcionalidade técnica, valor pedagógico e experiência de aprendizagem. Utilizando uma escala Likert de 5 pontos, os inquiridos avaliaram aspetos como usabilidade da interface, fiabilidade técnica, integração pedagógica e resultados de aprendizagem. A análise estatística identificou características altamente correlacionadas e clusters de fatores distintos que caracterizam a experiência do utilizador. Os resultados indicam uma receção extremamente positiva (pontuações médias >4,6 em todas as dimensões) com o consenso mais forte relativamente ao desenvolvimento de competências para a vida, envolvimento do aluno e alinhamento com os objetivos de aprendizagem. Os elementos de desempenho técnico e experiência do utilizador formaram o cluster de fatores mais robusto, enquanto a configuração de parâmetros e avaliação do progresso emergiram como considerações distintas. Esta investigação fornece informações críticas para desenvolvedores de tecnologia educacional e profissionais que procuram implementar plataformas de aprendizagem digital eficazes que equilibrem a fiabilidade técnica com o valor pedagógico.
ESTATÍSTICAS DESCRITIVAS
| count | mean | std | min | 25% | 50% | 75% | max | Questão | |
|---|---|---|---|---|---|---|---|---|---|
| 0 | 79.0 | 4.670886075949370 | 0.7462988847080340 | 1.0 | 5.0 | 5.0 | 5.0 | 5.0 | O site funciona sem falhas técnicas (1-5) |
| 1 | 79.0 | 4.7594936708860800 | 0.5596516744853900 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As instruções fornecidas são claras (1-5) |
| 2 | 79.0 | 4.746835443037980 | 0.5654214318990420 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | A interface é amigável (1-5) |
| 3 | 79.0 | 4.772151898734180 | 0.505086108135003 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Qualidade dos gráficos (1-5) |
| 4 | 76.0 | 4.776315789473680 | 0.505929750341588 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As aplicações funcionam em pelo menos três navegadores (1-5) |
| 5 | 76.0 | 4.723684210526320 | 0.531631055288692 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Mensagens pop-up e de aviso são úteis (1-5) |
| 6 | 78.0 | 4.743589743589740 | 0.6729639313369270 | 2.0 | 5.0 | 5.0 | 5.0 | 5.0 | As atividades podem ser facilmente partilhadas entre outros utilizadores (1-5) |
| 7 | 79.0 | 4.658227848101270 | 0.5748149300687360 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 | Definir os parâmetros é um processo fácil (1-5) |
| 8 | 79.0 | 4.69620253164557 | 0.6066813969699470 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Os utilizadores executam facilmente as Aplicações (1-5) |
| 9 | 79.0 | 4.8354430379746800 | 0.46493395579608000 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | A digitalização funciona conforme necessário (1-5) |
| 10 | 79.0 | 4.784810126582280 | 0.5230797869215380 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As impressões são de boa qualidade (1-5) |
| 11 | 79.0 | 4.7974683544303800 | 0.490414446273684 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Design Universal de Aprendizagem é aplicado (1-5) |
| 12 | 79.0 | 4.886075949367090 | 0.31974917141296800 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | As competências a serem adquiridas são competências importantes para a vida (1-5) |
| 13 | 79.0 | 4.848101265822790 | 0.4554121152779830 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | O feedback ajuda os professores a monitorizar o progresso dos alunos (1-5) |
| 14 | 79.0 | 4.822784810126580 | 0.4163176077654420 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As aplicações podem ser integradas no currículo (1-5) |
| 15 | 79.0 | 4.6835443037974700 | 0.5671409131068760 | 3.0 | 4.0 | 5.0 | 5.0 | 5.0 | Os planos de aula de exemplo são úteis (1-5) |
| 16 | 79.0 | 4.860759493670890 | 0.34840947082971600 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | Os utilizadores estão ativamente envolvidos no processo de aprendizagem (1-5) |
| 17 | 79.0 | 4.7594936708860800 | 0.45896175678393700 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As notas sobre Metodologias são úteis (1-5) |
| 18 | 79.0 | 4.772151898734180 | 0.5298613047505830 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | A autoavaliação motiva os alunos (1-5) |
| 19 | 79.0 | 4.8734177215189900 | 0.4346259401911600 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Os alunos podem trabalhar ao seu próprio ritmo (1-5) |
| 20 | 78.0 | 4.846153846153850 | 0.36313651960128100 | 4.0 | 5.0 | 5.0 | 5.0 | 5.0 | As informações fornecidas relacionam-se com os objetivos de aprendizagem (1-5) |
| 21 | 79.0 | 4.8734177215189900 | 0.3709685385649280 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Professores/pais podem facilmente adaptar as Atividades às necessidades do utilizador (1-5) |
| 22 | 79.0 | 4.772151898734180 | 0.4790312630611270 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | Os professores podem facilmente avaliar o progresso dos alunos (1-5) |
| 23 | 79.0 | 4.69620253164557 | 0.627457841667814 | 3.0 | 5.0 | 5.0 | 5.0 | 5.0 | As Atividades podem ser usadas tanto para trabalho em grupo como para trabalho individual (1-5) |
Questões com alta variação
| Etiqueta | Questão | std |
|---|---|---|
| A1 | O site funciona sem falhas técnicas (1-5) | 0.7462988847080340 |
| A7 | As atividades podem ser facilmente partilhadas entre outros utilizadores (1-5) | 0.6729639313369270 |
| C12 | As Atividades podem ser usadas tanto para trabalho em grupo como para trabalho individual (1-5) | 0.627457841667814 |
| A9 | Os utilizadores executam facilmente as Aplicações (1-5) | 0.6066813969699470 |
| A8 | Definir os parâmetros é um processo fácil (1-5) | 0.5748149300687360 |
Questões com baixa variação
| Etiqueta | Questão | std |
|---|---|---|
| B1 | As competências a serem adquiridas são competências importantes para a vida (1-5) | 0.31974917141296800 |
| C5 | Os utilizadores estão ativamente envolvidos no processo de aprendizagem (1-5) | 0.34840947082971600 |
| C9 | As informações fornecidas relacionam-se com os objetivos de aprendizagem (1-5) | 0.36313651960128100 |
| C10 | Professores/pais podem facilmente adaptar as Atividades às necessidades do utilizador (1-5) | 0.3709685385649280 |
| B3 | As aplicações podem ser integradas no currículo (1-5) | 0.4163176077654420 |
Compreendendo a Variação nas Respostas (Desvio Padrão)
O desvio padrão (std) no segundo gráfico representa o quanto as respostas para cada questão se desviam da média. Eis o que nos diz:
Desvio Padrão Baixo (Próximo de 0) → Alta Concordância
Se o desvio padrão estiver próximo de 0, significa que a maioria dos inquiridos deu classificações muito semelhantes (por exemplo, todos classificaram uma questão como 5). Isto sugere um forte consenso sobre a classificação.
Exemplo: Se uma questão sobre "clareza das instruções" tem std = 0, significa que todos concordaram numa determinada pontuação (todos a classificaram como 5 ou todos como 4, etc.).
Desvio Padrão Alto (Acima de 0.5) → Opiniões Mais Diversas
Um desvio padrão mais alto significa que as respostas variaram significativamente entre os inquiridos. Isto sugere opiniões mistas—alguns classificaram-na alta, enquanto outros classificaram-na baixa, mostrando discordância.
Exemplo: Se uma questão sobre "interface amigável" tem std = 0.8, indica que algumas pessoas acharam-na muito amigável (5), enquanto outras classificaram-na mais baixa (3-4), mostrando discordância.
Por que a Variação é Importante?
- Baixa variação → Indica forte consenso (ou a característica é realmente boa ou realmente má).
- Alta variação → Identifica áreas de melhoria (alguns utilizadores estão satisfeitos, enquanto outros não, mostrando preocupações de usabilidade).
Questões com desvios padrão elevados podem necessitar de mais investigação para compreender por que as opiniões estão divididas.
Questão por Categoria
| Categoria | Questão |
|---|---|
| A1 | O site funciona sem falhas técnicas (1-5) |
| A2 | As instruções fornecidas são claras (1-5) |
| A3 | A interface é amigável (1-5) |
| A4 | Qualidade dos gráficos (1-5) |
| A5 | As aplicações funcionam em pelo menos três navegadores (1-5) |
| A6 | Mensagens pop-up e de aviso são úteis (1-5) |
| A7 | As atividades podem ser facilmente partilhadas entre outros utilizadores (1-5) |
| A8 | Definir os parâmetros é um processo fácil (1-5) |
| A9 | Os utilizadores executam facilmente as Aplicações (1-5) |
| A10 | A digitalização funciona conforme necessário (1-5) |
| A11 | As impressões são de boa qualidade (1-5) |
| A12 | Design Universal de Aprendizagem é aplicado (1-5) |
| B1 | As competências a serem adquiridas são competências importantes para a vida (1-5) |
| B2 | O feedback ajuda os professores a monitorizar o progresso dos alunos (1-5) |
| B3 | As aplicações podem ser integradas no currículo (1-5) |
| B4 | Os planos de aula de exemplo são úteis (1-5) |
| C5 | Os utilizadores estão ativamente envolvidos no processo de aprendizagem (1-5) |
| C6 | As notas sobre Metodologias são úteis (1-5) |
| C7 | A autoavaliação motiva os alunos (1-5) |
| C8 | Os alunos podem trabalhar ao seu próprio ritmo (1-5) |
| C9 | As informações fornecidas relacionam-se com os objetivos de aprendizagem (1-5) |
| C10 | Professores/pais podem facilmente adaptar as Atividades às necessidades do utilizador (1-5) |
| C11 | Os professores podem facilmente avaliar o progresso dos alunos (1-5) |
| C12 | As Atividades podem ser usadas tanto para trabalho em grupo como para trabalho individual (1-5) |
CORRELAÇÕES ENTRE QUESTÕES
Correlações mais fortes entre questões (correlação acima de 0.7), indicando que as respostas a estas questões estão altamente relacionadas.
| Etiqueta 1 | Questão 1 | Texto da Questão 1 | Etiqueta 2 | Questão 2 | Texto da Questão 2 | Correlação |
|---|---|---|---|---|---|---|
| A1 | 0 | O site funciona sem falhas técnicas (1-5) | C5 | 16 | Os utilizadores estão ativamente envolvidos no processo de aprendizagem (1-5) | 0.7090125015101340 |
| A2 | 1 | As instruções fornecidas são claras (1-5) | A9 | 8 | Os utilizadores executam facilmente as Aplicações (1-5) | 0.7260350618403750 |
| A3 | 2 | A interface é amigável (1-5) | A6 | 5 | Mensagens pop-up e de aviso são úteis (1-5) | 0.781614675979465 |
| A4 | 3 | Qualidade dos gráficos (1-5) | A11 | 10 | As impressões são de boa qualidade (1-5) | 0.734028376223487 |
| A4 | 3 | Qualidade dos gráficos (1-5) | B1 | 12 | As competências a serem adquiridas são competências importantes para a vida (1-5) | 0.7104325775692570 |
| A6 | 5 | Mensagens pop-up e de aviso são úteis (1-5) | B3 | 14 | As aplicações podem ser integradas no currículo (1-5) | 0.7192552903761100 |
| A7 | 6 | As atividades podem ser facilmente partilhadas entre outros utilizadores (1-5) | A9 | 8 | Os utilizadores executam facilmente as Aplicações (1-5) | 0.7548860451594470 |
| A9 | 8 | Os utilizadores executam facilmente as Aplicações (1-5) | A11 | 10 | As impressões são de boa qualidade (1-5) | 0.7609438667598360 |
| A10 | 9 | A digitalização funciona conforme necessário (1-5) | A11 | 10 | As impressões são de boa qualidade (1-5) | 0.7487071134303000 |
| A10 | 9 | A digitalização funciona conforme necessário (1-5) | A12 | 11 | Design Universal de Aprendizagem é aplicado (1-5) | 0.7516016138604400 |
| C6 | 17 | As notas sobre Metodologias são úteis (1-5) | C9 | 20 | As informações fornecidas relacionam-se com os objetivos de aprendizagem (1-5) | 0.7040041483986320 |
ANÁLISE DE CLUSTERS
Clusters identificados de questões com base na Análise Fatorial Exploratória (EFA):
Clusters e Suas Questões Agrupadas:
Fator 1 (Maior Cluster):
- Foca na usabilidade, experiência do utilizador e envolvimento na aprendizagem.
- Inclui questões sobre interface amigável, clareza das instruções, facilidade de uso, feedback e aprendizagem ao próprio ritmo.
Fator 2:
- Relaciona-se com o desempenho técnico e acessibilidade.
- Inclui questões sobre qualidade dos gráficos, compatibilidade com navegadores, avisos úteis, qualidade de impressão e planos de aula.
Fator 3:
Contém apenas uma questão relacionada com a avaliação do progresso dos alunos pelos professores.
Fator 4:
Também contém apenas uma questão, focada na facilidade de definição de parâmetros.
| Fator Dominante | Questões no Cluster |
|---|---|
| Fator 1 | [['A1', 'O site funciona sem falhas técnicas (1-5)'], ['A2', 'As instruções fornecidas são claras (1-5)'], ['A3', 'A interface é amigável (1-5)'], ['A7', 'As atividades podem ser facilmente partilhadas entre outros utilizadores (1-5)'], ['A9', 'Os utilizadores executam facilmente as Aplicações (1-5)'], ['A10', 'A digitalização funciona conforme necessário (1-5)'], ['A12', 'Design Universal de Aprendizagem é aplicado (1-5)'], ['B1', 'As competências a serem adquiridas são competências importantes para a vida (1-5)'], ['B2', 'O feedback ajuda os professores a monitorizar o progresso dos alunos (1-5)'], ['B3', 'As aplicações podem ser integradas no currículo (1-5)'], ['C5', 'Os utilizadores estão ativamente envolvidos no processo de aprendizagem (1-5)'], ['C7', 'A autoavaliação motiva os alunos (1-5)'], ['C8', 'Os alunos podem trabalhar ao seu próprio ritmo (1-5)'], ['C9', 'As informações fornecidas relacionam-se com os objetivos de aprendizagem (1-5)'], ['C10', 'Professores/pais podem facilmente adaptar as Atividades às necessidades do utilizador (1-5)']] |
| Fator 2 | [['A4', 'Qualidade dos gráficos (1-5)'], ['A5', 'As aplicações funcionam em pelo menos três navegadores (1-5)'], ['A6', 'Mensagens pop-up e de aviso são úteis (1-5)'], ['A11', 'As impressões são de boa qualidade (1-5)'], ['B4', 'Os planos de aula de exemplo são úteis (1-5)'], ['C6', 'As notas sobre Metodologias são úteis (1-5)'], ['C12', 'As Atividades podem ser usadas tanto para trabalho em grupo como para trabalho individual (1-5)']] |
| Fator 3 | [['C11', 'Os professores podem facilmente avaliar o progresso dos alunos (1-5)']] |
| Fator 4 | [['A8', 'Definir os parâmetros é um processo fácil (1-5)']] |
O Que Isto Significa?
O Fator 1 sugere uma forte relação entre usabilidade, eficácia de aprendizagem e envolvimento do utilizador.
O Fator 2 indica que a qualidade dos gráficos, compatibilidade com navegadores e planos de aula estruturados estão ligados entre si.
Os Fatores 3 e 4 são valores atípicos, indicando preocupações independentes que não se agrupam fortemente com outras.
Resultados
A avaliação da plataforma de tecnologia educacional produziu avaliações consistentemente positivas em todas as 24 dimensões medidas (N=79). As estatísticas descritivas revelaram pontuações médias elevadas variando de 4,67 a 4,89 numa escala Likert de 5 pontos, indicando forte satisfação do utilizador com os aspetos técnicos e pedagógicos da plataforma.
Análise Descritiva
As características mais bem avaliadas foram "As competências a serem adquiridas são competências importantes para a vida" (M=4,89, SD=0,32), "Os alunos podem trabalhar ao seu próprio ritmo" (M=4,87, SD=0,43), e "Professores/pais podem facilmente adaptar as atividades às necessidades do utilizador" (M=4,87, SD=0,37), demonstrando particular apreço pela flexibilidade pedagógica e relevância da plataforma. Os aspetos técnicos também foram bem recebidos, com "A digitalização funciona conforme necessário" (M=4,84, SD=0,46) e "As impressões são de boa qualidade" (M=4,78, SD=0,52) a receber avaliações fortemente positivas.
A análise da variação das respostas revelou informações importantes sobre o consenso dos utilizadores. A concordância mais forte entre os inquiridos (indicada pelos desvios padrão mais baixos) centrou-se nas características pedagógicas principais: "As competências a serem adquiridas são competências importantes para a vida" (SD=0,32), "Os utilizadores estão ativamente envolvidos no processo de aprendizagem" (SD=0,35), e "As informações fornecidas relacionam-se com os objetivos de aprendizagem" (SD=0,36). Por outro lado, maior variação nas respostas (indicando menos consenso) foi observada para características técnicas como "O site funciona sem falhas técnicas" (SD=0,75), "As atividades podem ser facilmente partilhadas entre outros utilizadores" (SD=0,67), e "As Atividades podem ser usadas tanto para trabalho em grupo como para trabalho individual" (SD=0,63).
Análise de Correlação
A análise de correlação identificou 11 relações fortes (r > 0,70) entre diferentes dimensões de avaliação. As correlações mais fortes foram observadas entre "A interface é amigável" e "Mensagens pop-up e de aviso são úteis" (r=0,78), "Os utilizadores executam facilmente as aplicações" e "As impressões são de boa qualidade" (r=0,76), e "As atividades podem ser facilmente partilhadas entre outros utilizadores" e "Os utilizadores executam facilmente as aplicações" (r=0,75). Estas correlações sugerem que a perceção do utilizador sobre a qualidade da interface está estreitamente ligada à utilidade do feedback do sistema, e que a facilidade de operação se correlaciona fortemente com a qualidade de saída.
Correlações notáveis entre categorias incluíram "Qualidade dos gráficos" com "As competências a serem adquiridas são competências importantes para a vida" (r=0,71) e "O site funciona sem falhas técnicas" com "Os utilizadores estão ativamente envolvidos no processo de aprendizagem" (r=0,71), indicando que os aspetos de desempenho técnico influenciam positivamente as perceções de valor pedagógico.
Análise Fatorial
A Análise Fatorial Exploratória revelou quatro clusters distintos de características da plataforma:
Fator 1 (Experiência do Utilizador e Envolvimento na Aprendizagem): O maior cluster, compreendendo 15 itens incluindo usabilidade da interface, fiabilidade técnica, relevância da aprendizagem e autonomia do utilizador. Este fator dominante sugere uma forte interconexão entre funcionalidade técnica e eficácia pedagógica, onde a facilidade de uso apoia diretamente o envolvimento na aprendizagem.
Fator 2 (Desempenho Técnico e Acessibilidade): Consistindo em 7 itens relacionados com qualidade visual, compatibilidade entre navegadores, feedback do sistema e recursos instrucionais. Este cluster indica que a qualidade de saída e a orientação estruturada formam um aspeto coerente da experiência da plataforma.
Fator 3 (Capacidade de Avaliação): Contendo o único item "Os professores podem facilmente avaliar o progresso dos alunos", este fator emergiu como uma consideração distinta separada de outras características pedagógicas, destacando a importância única da funcionalidade de avaliação.
Fator 4 (Configuração de Parâmetros): Também contendo um único item, "Definir os parâmetros é um processo fácil", o isolamento deste fator sugere que a configuração de parâmetros representa um aspeto especializado da experiência da plataforma que merece atenção dedicada.
Em resumo, os resultados demonstram alta satisfação geral com a plataforma de tecnologia educacional, com consenso particularmente forte relativamente ao seu valor pedagógico. A análise fatorial revela que, enquanto a experiência do utilizador e o envolvimento na aprendizagem formam uma experiência central coesa, funcionalidades específicas como avaliação e configuração de parâmetros representam aspetos distintos que merecem consideração especializada no desenvolvimento e implementação da plataforma.
Please help us spread the word about this project by using one of the links below to share this post on social networks!
Diga-nos o que pensa sobre esta aplicação, escrevendo um comentário na versão em inglês deste post. Ideias para o uso no ensino e sugestões de melhoria são sempre bem vindas. Caso não saiba inglês também pode comentar em grego, em português e em espanhol.