O que é Inteligência de Avaliação?
A avaliação não termina quando o estudante responde.
Ela começa muito antes, quando decidimos o que queremos observar, e só se completa quando conseguimos interpretar o que aquela resposta realmente nos permite dizer sobre a aprendizagem.
Uma questão pode estar gramaticalmente correta, parecer difícil e até produzir respostas diferentes entre estudantes — e ainda assim gerar evidências fracas sobre aquilo que pretendíamos avaliar.
A Inteligência de Avaliação nasce desse problema.
Inteligência de Avaliação é o uso sistemático de evidências, critérios pedagógicos e inteligência artificial para compreender e fortalecer aquilo que uma avaliação permite inferir sobre a aprendizagem.
Da questão à evidência
Toda avaliação contém uma cadeia de raciocínio, mesmo quando ela não está explícita.
- O que queremos avaliar
- O que a tarefa exige
- O que esperamos que o estudante faça
- O que conseguimos observar em sua resposta
- O que essa evidência permite concluir sobre sua aprendizagem
Quando essas partes estão coerentes, a avaliação produz evidências mais fortes.
Quando não estão, uma resposta correta pode significar muito menos do que imaginamos.
Avaliar não é apenas produzir questões. É construir evidências para sustentar inferências sobre aprendizagem.
O que muda com a inteligência artificial?
A IA generativa tornou essa pergunta ainda mais importante.
Hoje, um modelo de IA pode responder questões, escrever textos, explicar conceitos, resolver problemas e produzir argumentos com níveis crescentes de qualidade.
Isso não significa que precisamos tornar as avaliações 'à prova de IA'.
Também não significa que toda questão que uma IA consegue responder perdeu seu valor.
A pergunta mais importante é outra:
Se uma IA consegue realizar parte ou toda a tarefa, o que a resposta do estudante ainda nos permite inferir sobre aquilo que ele sabe e consegue fazer?
É por isso que o KALEVO distingue conceitos que frequentemente são tratados como se fossem a mesma coisa.
AI Solvability não é AI Delegability
AI Solvability representa em que medida uma tarefa pode ser solucionada satisfatoriamente por uma IA.
AI Delegability representa em que medida a atividade intelectual que deveria produzir a evidência de aprendizagem pode ser transferida pelo estudante para uma IA nas condições reais da avaliação.
As duas coisas não são equivalentes.
Uma questão pode ser altamente solucionável por IA e, ainda assim, ter baixa possibilidade de delegação em uma aplicação presencial, supervisionada e sem dispositivos.
Da mesma forma, uma tarefa aparentemente sofisticada pode permitir elevada delegação quando realizada fora da escola com acesso irrestrito à IA.
AI Solvability não é probabilidade de cola.
AI Delegability não é detector de IA.
São perspectivas para compreender melhor a relação entre tarefa, contexto, evidência e inferência.
Cinco perspectivas para compreender uma avaliação
Alinhamento ao Constructo
A tarefa realmente mobiliza o conhecimento, habilidade ou competência que se pretende avaliar?
Força da Evidência
A resposta produz evidência suficiente para sustentar a interpretação pretendida?
AI Solvability
Em que medida uma IA consegue executar satisfatoriamente a tarefa?
AI Delegability
Em que medida o estudante pode transferir para a IA o trabalho intelectual que deveria produzir a evidência?
Autenticidade
A tarefa mobiliza formas significativas de pensar, decidir, produzir ou resolver problemas?
Essas perspectivas não formam uma nota geral de 'qualidade' ou 'resistência à IA'. Cada uma responde a uma pergunta diferente e deve permanecer interpretável separadamente.
O objetivo não é derrotar a IA
Uma consequência importante dessa abordagem é abandonar uma corrida pouco produtiva:
- Professor cria questão
- IA consegue responder
- professor tenta criar questão mais difícil
- IA melhora novamente
O problema da avaliação na era da IA não será resolvido tentando construir perguntas que máquinas nunca consigam responder.
O objetivo é outro:
Desenhar situações nas quais a evidência produzida continue sendo informativa sobre a aprendizagem que queremos compreender.
Às vezes isso exigirá mudar a questão.
Às vezes, mudar o contexto de aplicação.
Em outros casos, pedir justificativas, decisões, comparação de evidências, produção intermediária ou reflexão sobre o próprio processo.
E haverá situações em que usar IA fará parte legitimamente daquilo que queremos avaliar.
Da análise ao fortalecimento
Por isso, Inteligência de Avaliação não significa simplesmente atribuir diagnósticos a uma questão.
O ciclo completo é:
- Observar
- compreender
- testar
- fortalecer
O professor continua sendo a autoridade pedagógica.
A inteligência artificial funciona como uma nova perspectiva analítica: ajuda a identificar fragilidades, testar hipóteses, explorar possibilidades e propor alternativas.
A decisão sobre o que deve ser avaliado e qual evidência é pedagogicamente relevante continua humana.
KALEVO: IA a serviço da Avaliação da Aprendizagem
O KALEVO foi construído a partir dessa ideia.
Em vez de usar inteligência artificial apenas para gerar mais questões, a plataforma utiliza IA para ajudar professores a pensar melhor sobre as questões que criam e sobre as evidências que elas produzem.
Você pode criar ou trazer uma questão, analisá-la sob diferentes perspectivas, submetê-la a testes, explorar possibilidades de redesign e organizar os itens em avaliações completas.