Novo modelo estatístico melhora o poder preditivo de pontuações de testes padronizados
p O modelo de medição dinâmica estima o potencial de aprendizado futuro ajustando uma curva para testar pontuações ao longo do tempo. Essas pontuações de teste constituem uma curva de aprendizado, que geralmente se parece com uma letra 'J.' Um ponto na curva de aprendizado representa a quantidade de conhecimento no momento atual. O máximo ou teto da curva é uma estimativa do potencial de aprendizagem. Crédito:Robert Ewing, ASU
p Um ensaio de destaque, média de notas altas e pontuações estelares em testes padronizados às vezes não são suficientes para admissão em faculdades. p O atual escândalo de admissão em faculdades ressalta o quão influente se tornou a pontuação de um teste padronizado. Um aplicador de teste agora está cooperando com a investigação de outros pais que pagaram para corrigir os resultados dos testes de seus filhos.
p As decisões de admissão em faculdades usam pontuações de testes padronizados como um indicador de quão bem o candidato se sairá na faculdade. Mas e se houvesse uma maneira melhor de prever a aprendizagem, uma que não dependesse de um único, teste de alto risco?
p Pesquisadores da Arizona State University e da University of Denver desenvolveram uma maneira de prever o desempenho acadêmico três vezes mais preditivo do que uma única avaliação padronizada. A equipe de pesquisa desenvolveu e validou um modelo estatístico que usa pontuações de testes prontamente disponíveis para prever o desempenho acadêmico futuro. O estudo será publicado em
Pesquisa Comportamental Multivariada .
p "Todos são afetados pelos testes em algum ponto - os testes são usados para tomar decisões de alto risco sobre admissões nas escolas e às vezes até mesmo a colocação de empregos - e o modelo que desenvolvemos captura o que está acontecendo nos dados e prevê o desempenho futuro melhor do que os métodos existentes , "disse Daniel McNeish, professor assistente de psicologia na ASU e primeiro autor do artigo.
p
A habilidade atual nem sempre prediz o aprendizado futuro
p O objetivo declarado de muitos testes padronizados é uma avaliação única, não informar o desempenho de longo prazo. Esses testes às vezes são usados para prever o desempenho futuro de quem faz o teste, mas poucos testes realmente fazem isso bem, disse Denis Dumas, que é professor assistente da Universidade de Denver e segundo autor do artigo. A ideia de que um único teste pode falhar para medir adequadamente o potencial de aprendizagem futuro de um aluno não é nova:o sociólogo, historiador e ativista dos direitos civis W.E.B. DuBois o criou há quase um século.
p "As pontuações dos testes de um único ponto no tempo fornecem um bom instantâneo do que alguém sabe no momento do teste, mas muitas vezes são incapazes de fornecer informações sobre o potencial de aprendizagem, "acrescentou Dumas." As pontuações dos testes são frequentemente usadas para indicar o quanto uma pessoa pode se beneficiar com a educação futura, como frequentar a faculdade, mas este conceito é completamente diferente de quanto o candidato sabe agora. "
p Para desenvolver o modelo, a equipe de pesquisa se inspirou no trabalho de um psicólogo israelense chamado Reuven Feuerstein, que testou crianças sobreviventes do Holocausto para classificação escolar e escolar. As atribuições de nível de série com base em uma pontuação de teste costumavam ser muito baixas, então Feuerstein desenvolveu um sistema de teste chamado avaliação dinâmica que usava várias pontuações de teste coletadas ao longo do tempo para medir a capacidade das crianças de aprender, em vez de seu nível atual de conhecimento. A avaliação dinâmica exige muita mão-de-obra e é difícil de implementar em grande escala. A equipe de pesquisa resolveu esse problema aproveitando os avanços em modelos matemáticos e poder de computação para criar um novo método, que eles chamam de modelo de medição dinâmico.
p
Ligando os pontos
p O modelo de medição dinâmica usa uma série de pontuações de teste para prever a capacidade de aprendizagem futura. O modelo se ajusta a uma curva através das pontuações dos testes ao longo do tempo, que geralmente se parece com uma letra "J" lateral e é frequentemente chamada de "curva de aprendizado". Os pontos na curva de aprendizado representam a quantidade de conhecimento atual, e o máximo ou teto da curva é o potencial de aprendizagem. Usando pontuações de teste padronizadas do jardim de infância até a oitava série, a equipe recentemente mostrou que o modelo de medição dinâmica pode se ajustar à curva de aprendizado e prever o potencial de aprendizado.
p A equipe de pesquisa queria saber até que ponto o modelo poderia prever o potencial de aprendizagem e, portanto, quão preciso ele realmente era. Eles usaram três conjuntos de dados originados do Instituto de Desenvolvimento Humano da Universidade da Califórnia, Berkeley. Os conjuntos de dados incluem pontuações de testes de participantes começando quando eles tinham 3 anos de idade nas décadas de 1920 e 1930. Os participantes foram estudados por décadas, até os 50 anos, anos 60, e 70s.
p Como a maioria dos testes padronizados acontece na escola, a equipe de pesquisa usou o modelo de medição dinâmica para ajustar as pontuações dos testes de quando os participantes da UC Berkeley tinham 20 anos ou menos. A equipe previu o futuro potencial de aprendizagem de cada participante fazendo com que o modelo concluísse a curva. Então, eles compararam as pontuações reais dos testes nas idades de 50-70 anos com o que o modelo previu.
p "O modelo de medição dinâmica capturou três vezes a variância de outros métodos, incluindo pontuações de teste de ponto único. Em outras palavras, nosso modelo previu as pontuações posteriores - o potencial de aprendizagem realizado por um indivíduo - três vezes melhor, "McNeish disse." Os alunos são testados com muita frequência agora para avaliar seu progresso, mas ter várias pontuações por aluno pode servir a um propósito além de medir o progresso. Eles podem ser combinados em uma única pontuação de potencial de aprendizagem para melhorar as previsões de onde as habilidades e habilidades das pessoas estão previstas para terminar no futuro se mantiverem a mesma trajetória. "
p
Aproveitando o potencial de testes padronizados
p Usar a modelagem de medição dinâmica para prever o potencial de aprendizagem futuro dos alunos não requer mudanças na política ou novos testes. As pontuações de teste necessárias para o modelo já existem e estão disponíveis devido à aprovação da Lei Nenhuma Criança Deixada para Trás e A Lei de Todos os Alunos São Bem-sucedidos.
p "A modelagem de medição dinâmica não requer um computador especializado para ser executada e não leva muito mais tempo do que os modelos estatísticos padrão usados nesta área, "McNeish disse." Logisticamente, todas as peças estão aí para implementá-lo amanhã. "
p A equipe de pesquisa está atualmente trabalhando no desenvolvimento de software para disseminar o modelo de medição dinâmica.