Análise combinada de exames vestibulares da Universidade Federal de Lavras usando a teoria de resposta ao item | Polled analysis of admitance exams at Universidade Federal de Lavras using item response theory

The entrance examinations (vestibular) have become the standard form for admission to the University of Brazil, from 70 years. The analysis of features of tests and abilities through Item Response Theory (IRT) has the advantage that it can be used to compare the abilities of candidates and parameters referring to the items even in situations where candidates don’t submit the same tests. The use of Bayesian inference results in estimates with interesting properties for the purpose of combining the resulting analysis later, but despite the existence of software for the IRT analysis, few are directly suitable for Bayesian analysis of unbalanced trials in three parameters logistic model (3PLM). This study had for objective to implement a Bayesian framework to analyse together all the courses, including all items, of vestibular 2006-2 to 2009-1 of Federal University of Lavras (UFLA), considering the 3PLM. A function R was developed writing in C that streamlines the sampling Markov Chain Monte Carlo (MCMC) the joint posterior distribution. The first chapter brings a general revision about IRT and Bayesian methods. In the second chapter, the performance of developed function was evaluated through a simulation study. This study indicated that the model and estimation produced satisfactory results because it was found a high correlation between the parametric values and those estimated. It was used this function to a separate analysis of vestibular 2006-2 to 2009-1 of UFLA. These analysis presented in the following chapter, reveal that the most difficult tests are more discriminating and more informative. The analysis over time of changing proprieties of the tests and abilities of candidates was done in the last chapter with the combined analysis of all vestibular, based on the estimates (Markov chains) previously obtained. It was verified that, for the parameters of the items, the disciplines of exact area - Physics, Mathematics and Chemistry are always classified as the most difficult and more discriminating. All tests of vestibular studied had on average, low probability by guess. Regarding the abilities of the candidates, the average ability for the evening courses was lower than that daytime courses. Examples are presented that indicate that this methodology can reveal important proprieties of evidence for planning of tests as well to help select candidates based on their abilities.

Estatística e Experimentação Agropecuária

Os exames vestibulares tornaram-se forma padrão de admissão na Universidade Brasileira a partir dos anos 70. A análise de características das provas e das habilidades por meio da Teoria de Resposta ao Item (TRI) possui a vantagem de poder ser utilizada para comparar habilidades de candidatos e parâmetros referentes aos itens, mesmo em situações em que os candidatos não se submetem às mesmas provas. O emprego da inferência bayesiana resulta em estimativas com propriedades interessantes para fins de combinar posteriormente as análises resultantes, mas apesar da existência de softwares para a análise de TRI, poucos são diretamente adequados à análise bayesiana de ensaios desbalanceados no modelo logístico de três parâmetros (ML3P). O PRESENTE trabalho teve por objetivos implementar um método bayesiano para analisar conjuntamente todos os cursos, incluindo todos os itens, dos vestibulares 2006-2 a 2009-1 da Universidade Federal de Lavras (UFLA), considerando o ML3P. Foi desenvolvida uma função R escrita em C que agiliza a amostragem Monte Carlo via cadeia de Markov (MCMC) da distribuição a posteriori conjunta. O primeiro capítulo traz uma revisão geral sobre a TRI e os procedimentos bayesianos. No segundo capítulo, o desempenho da função desenvolvida foi avaliado por meio de um estudo de simulação. Tal estudo indicou que o modelo e o método de estimação produziram resultados bastante satisfatórios, pois foi encontrada alta correlação entre os valores paramétricos e os estimados. Utilizou-se essa função para análises em separado dos vestibulares 2006-2 a 2009-1 da UFLA. Estas análises, apresentadas no capítulo seguinte, revelam que as provas mais difíceis são mais discriminativas e informativas. A análise ao longo do tempo da evolução das propriedades das provas e habilidades dos candidatos foi feita no último capítulo com a análise combinada de todos os vestibulares, baseada nas estimativas (cadeias de Markov) anteriormente obtidas. Pôde-se verificar que, quanto aos parâmetros dos itens, as disciplinas da área de exatas - Física, Matemática e Química, sempre estão classificadas como as mais difíceis e as que mais discriminam. Todas as provas dos vestibulares estudados tiveram, em média, baixa probabilidade de acerto por indivíduos com baixa habilidade. Quanto às habilidades dos candidatos, a média da habilidade para os cursos noturnos foi menor que a dos cursos diurnos. São apresentados exemplos que evidenciam que a metodologia pode revelar importantes propriedades para o planejamento de provas bem como para auxiliar a seleção de candidatos com base em suas habilidades.