Teoria da Resposta ao Item

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos.

Índice

1 Aplicação
2 História
3 Fundamentos
4 Modelagem Estatística
5 Referências
6 Links relevantes

Aplicação

A aplicação mais freqüente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em Testes de Múltipla escolha. A Teoria da Resposta ao Item, contudo, pode abranger também testes dissertativos além de poder abarcar várias outras áreas onde se deseje obter uma medida indireta de alguma característica, por exemplo: estimar a altura de uma pessoa através de um questionário com perguntas indiretas como "Você costuma abaixar a cabeça ao passar por uma porta?" onde sabemos que as respostas "sim" e "não" estão correlacionadas com a característica a ser medida indiretamente, no caso a altura da pessoa. Outras áreas proeminentes para a aplicação da Teoria da Resposta ao Item são os Testes Psicológicos e questionários em geral, com destaque para questionários que meçam o nível sócio-econômico dos pesquisados.

A Teoria da Resposta ao Item é utilizada em avaliações de vários países, onde os programas de avaliação mais conhecidos são o NAEP<ref>NAEP - National Assessment of Educational Progress</ref> nos Estados Unidos da América, o ETS<ref>ETS - Educational Testing Service</ref> nos Estados Unidos da América, o GMAT<ref>GMAT - Graduate Management Admission Test</ref> nos Estados Unidos da América, o CITO<ref>CITO - Institute for Educational Measurement </ref> na Holanda e vários outros. No Brasil o principal programa de avaliação que utiliza a Teoria da Resposta ao Item é o SAEB, que desde sua criação em 1995, utiliza-a para estimar as habilidades e conhecimentos dos alunos do Ensino Básico e Médio das escolas públicas brasileiras através de amostragem do universo desses alunos.

História

A Teoria da Resposta ao Item surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. A Teoria Clássica dos Testes, principal teoria estatística para medida dessas características na época, via-se diante de enormes dificuldades para comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. Nesse sentido, em 1950, Gulliksen, H definiu, no âmbito da Teoria Clássica dos Testes que duas provas podem ser consideradas formas paralelas quando, após a conversão para a mesma escala, suas médias, desvios padrão de acertos bem como demais correlações do número de acertos com todo e qualquer outro critério fossem iguais. Em 1971, ainda no âmbito da Teoria Clássica dos Testes, Angoff, W delimita a equivalência de provas ao apresentar as seguintes exigências:

As provas devem medir a mesma característica ou habilidade;
A equivalência estabelecida deve ser independente dos dados em particular utilizados para estabelecer esse princípio e deve ser aplicável em todas as situações parecidas;
Os escores de duas provas, uma vez estabelecida sua equivalência, devem ser substituíveis entre si, e;
A equivalência deve ser simétrica, ou seja, não deve fazer distinção entre a prova particular escolhida como base de referência.

Ainda no âmbito da Teoria Clássica dos Testes, em 1977, Lord, F M estende as considerações levantadas por Angoff. A noção de escores substituíveis ganha nova dimensão com a introdução do conceito de equidade: Os escores transformados y* e observados x podem ser considerados "equivalentes" quando houver indiferença se um examinando responder a prova X ou Y. De acordo com esse princípio:

Torna-se inviável a tentativa de se estabelecer a equivalência entre provas que medem diferentes características ou habilidades (consistente com a primeira restrição de Angoff);
A equivalência de escores com margens de erro desiguais não pode ser estabelecida (consistente com os escores substituíveis de Angoff);
Não se pode estabelecer a equivalência de provas que refletem diferentes níveis de dificuldades.

Segundo Lord, se as provas X e Y têm dificuldades diferentes, a relação entre seus escores verdadeiros é necessariamente não linear devido aos efeitos de piso e de teto. Se duas provas têm uma relação não linear é implausível que elas sejam igualmente fidedignas em todos os grupos de examinandos. Isso leva à conclusão incômoda de que, a rigor, não se pode tornar equivalentes os escores observados em provas de dificuldades diferentes. Todo esse panorama levou Lord a defender as vantagens teóricas dos modelos da teoria da resposta ao item em procedimentos que estabelecem a equivalência dos resultados de provas.

Fundamentos

A Teoria da Resposta ao Item trata o problema da estimação da habilidade e conhecimento de um examinando de forma essencialmente diferente: o enfoque das análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens; se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de "calibração" dos parâmetros de dificuldade, discriminação e acerto casual dos itens (Valle, R) são características próprias dos mesmos. Costuma-se considerar que a característica de medição dos Itens, representados por seus parâmetros, são invariantes no tempo com algumas ressalvas, por exemplo: um item que aborde o conhecimento sobre eclipses solares e lunares estará sujeito a variações de suas características de medição conforme o modismo, sobretudo quando um eclipse ocorre; em casos como esse, a invariância dos parâmetros do item no tempo não deve ser considerada como verdadeira. Consideradas as ponderações anteriores, uma característica fundamental para a viabilidade de comparação da habilidade e conhecimento de examinandos submetidos a provas diferentes é que a Teoria da Resposta ao Item modela a probabilidade de acerto a um item, também conhecida como Curva Característica do Item, através de uma função não linear do conhecimento dos examinandos. Essa característica da modelagem da Teoria da Resposta ao Item é de grande importância pois, desse modo, é possível comparar o conhecimento dos examinandos submetidos a provas diferentes sendo necessário apenas que as provas meçam as mesmas características; essa propriedade é essencialmente útil para sistemas de avaliações onde é possível submeter uma grande quantidade de tópicos de uma matéria em sala de aula (útil para se ter um painel geral sobre o ensino de vários tópicos) com os alunos respondendo apenas um conjunto pequeno dos itens utilizados na avaliação (útil para não tornar as provas excessivamente extensas).

Modelagem Estatística

A modelagem mais moderna para a Teoria da Resposta ao Item utiliza a Estatística Bayesiana. Nessa modelagem, a probabilidade de acerto de um item é condicionada à habilidade e conhecimento do examinando. A curva que modela a probabilidade de acerto de um item é uma função crescente na ordenada da habilidade e conhecimento; o gráfico que tem a probabilidade condicional de acerto de um item na abcissa e a habilidade e conhecimento na ordenada é conhecido como Curva Característica do Item.

Na abordagem bayesiana da Teoria da Resposta ao Item costuma-se representar a habilidade e conhecimento por uma variável aleatória simbolizada grega ${\theta}$ ; a variável aleatória que representa o acerto ou erro de um item ´s simbolizada pela letra $X$ ; o resultado (acerto ou erro) de um item respondido é representado por $X = x$ , onde $X = 1$ normalmente representa o acerto do item e $X = 0$ representa o erro. O gráfico da Curva Característica do Item acima é portanto um gráfico que associa a probabilidade de acerto $P(X = 1 | {\theta})$ em função de ${\theta}$ . Adicionalmente costuma-se utilizar o índice $i$ para indicar um examinando específico ( ${\theta}_i$ representa a habilidade e conhecimento do examinando $i$ ) e o índice $j$ para indicar um item específico ( $X_j$ representa os possíveis resultados do item $j$ e $X_{ij} = x_{ij}$ representa a resposta do examinando $i$ ao item $j$ ).

Existe uma gama extensa de modelos da Teoria da Resposta ao Item: os modelos mais complexos podem considerar uma multidimencionalidade da habilidade e conhecimento onde a variável teta que a representa é um vetor multidimencional ${\theta} = ({\theta}_1, {\theta}_2, ..., {\theta}_k)$ como também considerar a abordagem de créditos parciais para acomodar itens com estágios hierárquicos de desenvolvimento, por exemplo: primeiro estágio se nada está correto na resolução do item ( $X_j = 0_j$ ). segundo estágio se o item foi corretamente esquematizou o problema corretamente ( $X_j = 1_j$ ); terceiro estágio se o desenvolvimento do raciocínio está correto ( $X_j = 2_j$ ) e; quarto estágio se o item foi respondido corretamente na íntegra ( $X_j = 3_j$ ). O modelo de créditos parciais, embora pouco utilizado, é adequado para questões discursivas.

O modelo mais simples e usual da Teoria da Resposta ao Item considera itens dicotômicos (onde os possíveis resultados são acerto ou erro) e uma função logística para modelar a Curva Característica do Item:

$P(X_j = 1 | {\theta}) = c_j + {{1 - c_j} \over {1 + e^{-D \cdot a_j \cdot ({\theta} - b_j)}}}$

Na modelagem bayesiana da Teoria da Resposta ao Item, conforme citado no início, diz-se que as respostas $X_i = (x_{i1}, x_{i2}, x_{i3}, ... x_{iJ})$ onde $J$ é o número de itens respondidos pelo examinando $i$ estão correlacionadas através da habilidade e conhecimento ${\theta}_i$ do examinando. Se ${\theta}_i$ fosse conhecido as respostas $x_{i1}, x_{i2}, x_{i3}, ... x_{iJ}$ seriam independentes estatisticamente. Essa abordagem costuma suscitar algumas confusões pois para o cálculo da verosimilhança utilizaremos o fato de que $X_{i1} | {\theta}$ , $X_{i2} | {\theta}$ , ..., $X_{iJ} | {\theta}$ são independentes estatisticamente, ao passo que $X_{i1}$ , $X_{i2}$ , ..., $X_{iJ}$ são estatisticamente dependentes. Essa propriedade é conhecida como independência condicional e pode ser estudada em mais detalhes em artigo de De Finetti, B; por hora consideremos que se soubéssemos o verdadeiro valor da habilidade e conhecimento de um examinando as suas respostas a um conjunto de itens seriam estatisticamente independentes pois já saberíamos sua habilidade. Dessa forma, submetê-lo a um conjunto de itens seria inútil: os acertos e erros aos itens seriam meramente aleatórios. Para que a Teoria da Resposta ao Item seja aplicável é necessário pressupor que a habilidade e conhecimento de um examimando seja conhecido através de uma incerteza, representada por uma distribuição de probabilidade, e que os acertos e erros de um examinando numa prova revelem informações sobre seus conhecimentos e habilidades.

Considerando a propriedade da independência condicional dos acertos e erros dos itens respondidos por um examinando, a verosimilhança gerada pelas respostas de um examinando é dada por:

$L({\theta} | X_i = x_i) = \prod_{j=1}^{J} {P(X_{ij} = x_{ij} | {\theta})}$

Após o examinando responder um conjunto de itens a estimativa da habilidade e conhecimento pode ser facilmente calculada através do Operador de Bayes:

$P({\theta}_i | X_i = x_i) = {{L({\theta} | X_i = x_i) \cdot P({\theta}_i)} \over {\int {L({\theta} | X_i = x_i) \cdot P({\theta}_i) \cdot dP({\theta_i})}}}$

Onde $P({\theta}_i)$ é a distribuição de probabilidade a priori para a habilidade e conhecimento do examinando $i$ , : $L({\theta} | X_i = x_i)$ é a verosimilhança gerada pelas respostas aos itens e $P({\theta}_i | X_i = x_i)$ é a distribuição de probabilidade a posteriori para o mesmo examinando ao responder os itens $X_i = (x_i1, x_i2, ..., x_iJ)$ .

Referências

Andrade, D., Valle, R. (1998). Introdução à Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 18, 13-32.
Angoff, W. (1971). Scales, Norms, and Equivalent Scores. In R. L. Thorndike (Ed.), Eduacational Meassurement (2nd. ed.), Washington, D.C.: American Council on Education.
Gulliksen, H (1950). Theory of Mental Tests. New York: Wiley.
De Finetti, B. (1931). Funzione caratteristica di un fenomeno aleatorio. Atti della R. Academia Nazionale dei Lincei, Serie 6. Memorie, Classe di Scienze Fisiche, Mathematice e Naturale, 4:251–299.
Fletcher, P (1995). Procedimentos para Estabelecer a Equivalência de Provas com Modelos da Resposta ao Item. Ensaio. Rio de Janeiro. v. 3, n. 6, p. 41-54.
Lord, F M.. (1977). Pratical Applications of Item Response Theory to Pratical Testing Problems. Hillsdale, New Jersey: Lawrence Erlbaum.
Lord, F M., & Novick, M R, (1968). Statistical Theories of Menthal Test Scores. Reading Mass: Addison-Wesley.
Klein, R. (2003). Utilização da Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro, 11, 40, 283-96.
Mislevy, J., Bock, D (1990). BILOG 3: Item Analysis and Test Scoring with Binary Logistic Models. Chicago: Scientific Software Inc.
Valle, R. (2000). Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 21, 7-91.
Valle, R. (2001). Construção e Interpretação de Escalas de Conhecimento: um Estudo de Caso. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 23, 71-92.

Links relevantes

Teorema de De Finetti (texto em inglês)

Esta página usa conteúdo da Wikipedia. O artigo original estava em Teoria_da_Resposta_ao_Item. Tal como o Think Finance neste artigo, o texto da Wikipedia está disponível segundo a GNU Free Documentation License.

Teoria da Resposta ao Item

Índice

Aplicação

História

Fundamentos

Modelagem Estatística

Referências

Links relevantes

Menu de navegação

Vistas

Ferramentas pessoais

Navegação

Pesquisa

Ferramentas