Proctoring: o que é e como ajuda na supervisão de avaliações on-line

Os exames online são uma ferramenta fundamental para as aulas remotas, mas é importante garantir a sua confiabilidade. Descubra como fazê-lo.

1. Como os alunos trapaceiam em seus testes on-line?
   1.1. Acessar materiais e ferramentas não autorizados
   1.2. Solicitar a ajuda de outra pessoa
2. O que é proctoring e como funciona?
   2.1. Proctoring presencial
   2.2. Proctoring gravado
   2.3. Proctoring automatizado
3. Como funciona o proctoring com o EdTest.ai da Pearson?
4. 7 dicas para reduzir a porcentagem de trapaças em seus testes

Proctoring significa literalmente "supervisão" em inglês. É um termo usado para se referir a uma pessoa ou software imparcial que monitora o comportamento de um aluno ou candidato durante um exame para evitar trapaças.

A falsificação de respostas em um teste é um problema que existe desde a origem dos próprios exames, porém, avaliações on-line das aulas remotas, por sua natureza, apresentam uma série de vulnerabilidades adicionais que podem facilitar muito a trapaça.

Uma rápida pesquisa no Google começando com “como trapacear” é suficiente para perceber que uma das primeiras sugestões de preenchimento automático é “... em um teste on-line”, e existem centenas de páginas e fóruns em que se discutem formas cada vez mais engenhosas e sofisticadas de fazê-lo.

Esse é um problema sério hoje, especialmente para universidades e instituições que contam com avaliações computadorizadas como parte de seus critérios a fim de aceitar candidatos ou graduandos. Não é preciso nem dizer que a pandemia e a necessidade de ensino e avaliação remotos apenas agravaram essa situação.

Por esse motivo, o proctoring (ou supervisão digital por meio de inteligência artificial) é uma ferramenta indispensável para as instituições de ensino. Hoje vamos rever como ela funciona e outras dicas básicas para tornar a administração das avaliações um processo mais seguro e confiável a todos os envolvidos.

Como os alunos trapaceiam em seus testes on-line?

Infelizmente, os alunos do ensino superior encontram, desde sempre, maneiras quase imperceptíveis de trapacear em seus testes, e a migração das avaliações para as plataformas de aprendizagens virtuais deu a eles mais ferramentas tecnológicas para “serem criativos”.

De acordo com um estudo de 2007, 60% dos estudantes universitários admitiram ter colado em um teste em algum momento de sua educação, e 95% deles não foram surpreendidos nem questionados sobre a validade de suas respostas.

Isso significa que pelo menos 60% dos participantes do teste on-line estão dispostos a trapacear, e uma grande porcentagem o faz, mesmo em instituições renomadas como Harvard ou Yale.

Os testes padronizados mais importantes da trajetória acadêmica (aqueles dos quais dependemos para concluir o Ensino Médio e ingressar no ensino superior) são, por tudo o que está em jogo, os mais falsificados.

Tradicionalmente, eles eram aplicados de modo presencial em espaços específicos, com supervisores de carne e osso que verificavam o documento de identidade do aluno e ficavam atentos a qualquer irregularidade, mas mesmo assim a segurança era burlada de vez em quando.

[Pílula de conhecimento] 👉 4 Dicas para realizar provas online.

As estatísticas atuais revelam que muito mais alunos estão trapaceando graças às avaliações on-line, já que se vê muito mais pontuações altas e quase perfeitas do que antes, o que é um sinal claro de que a ajuda externa está sendo requisitada.

Um dos exemplos mais alarmantes corresponde aos testes de conhecimento geral GRE (Graduate Record Examination), que costumam ser exigidos para o ingresso em uma pós-graduação em uma universidade norte-americana. Foi relatado que milhares de candidatos estrangeiros pagam a outros alunos mais bem preparados a fim de fazer a versão remota desse teste para eles.

Isso não é apenas um problema moral e uma injustiça no nível acadêmico, mas também ocasiona que os candidatos que não estão adequadamente preparados sejam aqueles que acabam obtendo as melhores bolsas, cargos acadêmicos e ofertas de trabalho em processos padronizados, o que, por sua vez, tem um impacto profundo no avanço da ciência e na eficiência das indústrias.

Hoje, existem duas maneiras principais que os estudantes utilizam para trapacear em uma avaliação on-line:

Acessar materiais e ferramentas não autorizados

Um exemplo típico seria o de alunos que têm o teste aberto em uma janela de navegação e estão procurando respostas em outra. Se isso não for possível, eles podem até usar o celular, suas anotações, uma calculadora científica ou um livro para ajudar.

É relativamente fácil bloquear outros aplicativos no mesmo computador em que o teste está sendo feito, mas detectar e categorizar comportamentos suspeitos requer inteligência artificial capaz de interpretar as informações recebidas por meio de uma webcam e um microfone.

Leia também: 👉 5 aplicações da inteligência artificial na educação.

Solicitar a ajuda de outra pessoa

Uma pessoa mais experiente ajuda o candidato de alguma forma, ou até mesmo assume sua identidade completamente, como vimos no exemplo do GRE.

Porém, o mais comum parece ser que na mesma sala ou mesmo fora dela haja outra pessoa prestando suporte e aproveitando algum dispositivo com conexão à Internet (por exemplo, o aluno pode espelhar sua tela em outro aparelho por meio de um cabo HDMI para que outra pessoa veja as perguntas e escreva as respostas corretas em uma segunda tela espelhada atrás do monitor em que você está fazendo o teste, o que não é detectável pela câmera).

Qualquer forma de trapaça pode assumir modos diferentes e ser indetectável pelos sistemas-padrão e até mesmo por um fiscal do teste presencial, se houver um.

O que é proctoring e como funciona?

Proctoring é basicamente usar algum sistema de segurança para diminuir as chances de um aluno trapacear. Alguns programas ou estratégias são mais eficientes que outros e, embora nenhum exista com 100% de eficácia, eles podem ser altamente confiáveis quando combinados com certas precauções adicionais.

Existem três tipos principais de proctoring on-line, veja:

1. Proctoring presencial

É quando um fiscal acompanha o aluno durante todo o teste por meio de uma webcam e uma conexão remota a seu computador. Nesses casos, o fiscal pode ver a tela do examinado em tempo real e também pedir a ele que mude o ângulo da câmera quando algo parecer suspeito.

Com a tecnologia adequada envolvida, é um tipo de supervisão muito eficaz. O problema é que é difícil ter um supervisor para cada aluno que faz um teste, e a supervisão remota de vários alunos ao mesmo tempo dilui substancialmente a capacidade de identificação de pontos de alerta pelo supervisor.

2. Proctoring gravado

Significa que tanto a tela do aluno quanto seu comportamento são gravados durante o teste por meio de uma webcam e um microfone, e cada gravação é posteriormente analisada em busca de possíveis violações.

Também é um mecanismo eficiente porque há um supervisor de carne e osso analisando cada caso, mas é muito demorado para passar as gravações uma a uma.

3. Proctoring automatizado

O que o diferencia dos dois anteriores é que, em vez de um supervisor humano, o programa utiliza uma inteligência artificial capaz de interpretar as informações que chegam da tela, da câmera e do microfone.

Isso permite garantir que a todo momento a pessoa que corresponde ao ID de registro esteja fazendo o teste e não esteja recebendo ajuda externa, entre outras coisas.

Como funciona o proctoring com o EdTest.ai da Pearson?

O EdTest.ai da Pearson Higher Education é um software de inteligência artificial que ajuda a garantir a confiabilidade dos testes on-line por meio de diferentes mecanismos de segurança que funcionam em conjunto. É ideal para as avaliações das instituições de ensino, dificultando a trapaça até mesmo de alunos mais experientes em tecnologia.

Entre outros destaques, o EdTest.ai permite:

• Autenticar a ID facial de cada aluno para evitar qualquer tipo de falsificação de identidade antes e durante a prova.
• Monitorar o ambiente do aluno por meio da câmera e do microfone, além de evitar que algum deles seja desligado ou bloqueado.
• Registrar tudo o que acontece durante a prova, inclusive na tela do aluno.
• Bloquear abas, aplicativos ou programas estrangeiros no computador.
• Identificar comportamentos suspeitos, como uso de celulares, tablets ou equipamentos externos.
• Suspender a aplicação dos testes quando for detectada uma tentativa de trapaça (anomalia).
• Gerenciar horários específicos de disponibilidade de testes, bem como configurar cronômetros de resposta, ou seja, o aluno tem apenas determinado tempo para completar cada item ou para terminar todo o teste.

Alguns dos comportamentos não permitidos que acionam alertas no EdTest.ai são falar alto, receber ajuda verbal de outra pessoa, olhar em uma direção diferente da tela, usar um segundo monitor, tirar prints, sair do teste, estar fora do alcance de visão da câmera etc.

Algumas das vantagens de aplicar suas avaliações com o EdTest.ai são:

• Aumenta a confiabilidade geral dos resultados de seus testes.
• É muito mais barato e viável do que o proctoring ao vivo com um supervisor humano.
• Permite adicionar uma camada extra de segurança com monitoramento gravado e capturas de tela.
• Ajuda a gerar estatísticas sobre o comportamento de seus alunos durante os testes.
• Lança alertas e bloqueia atividades suspeitas em tempo real.
• Você pode programar e agendar testes que estão disponíveis apenas por determinado período.
• Permite a randomização de itens.
• É totalmente escalável, dependendo do número de alunos e testes que você deve aplicar.

7 dicas para reduzir a porcentagem de trapaças em seus testes

Além do software de proctoring de IA, existem alguns filtros de segurança adicionais de que você pode desfrutar para aumentar a confiabilidade dos resultados:

1. Solicite revisões aleatórias do ambiente físico. Ou seja, você pode pedir ao aluno a qualquer momento que pegue sua câmera e crie uma visão 360° da sala para garantir que não haja mais ninguém com ele ou que seu computador não esteja conectado a outra tela via HDMI.
2. Solicite que o aluno fique em uma sala com uma única porta, trancada por dentro e de costas para o candidato, de modo que seja possível ver se alguém entra.
3. Em testes altamente críticos, como aqueles de que depende a admissão ou a nota, peça aos alunos que usem duas câmeras, uma para gravar a si mesmos durante o teste e outra em ângulo aberto para gravar a sala.
4. Certifique-se de que os alunos entendam como os mecanismos de segurança do teste funcionam, para que não os violem acidentalmente (por exemplo, recorrendo a uma calculadora que eles não sabiam que não podiam usar).
5. Randomize as perguntas. Para evitar que dois alunos façam a mesma versão da prova, sempre randomize os itens, ou seja, assegure-se de que eles não sejam apresentados a todos na mesma ordem.
6. Sempre use um cronômetro. Não se trata de pressionar desnecessariamente os alunos, mas, se um teste não tem um prazo máximo de resposta, é muito mais fácil para os alunos trapacearem com o pretexto de que tiveram que se deslocar de seus assentos por um motivo ou outro. Defina um tempo razoável e uniforme, mas não ilimitado.
7. Adote perguntas que envolvam um processo de resolução de problemas ou dedução com base nos dados apresentados, em vez de perguntas com respostas padronizadas.

Leia também: 👉 4 paradigmas que a educação disruptiva quebra nas universidades.

Sem dúvida, a maneira mais eficiente de evitar trapaças é por meio da combinação de um supervisor humano e uma IA. No entanto, isso nem sempre é possível por conta de restrições de tempo, distância e orçamento, razões pelas quais a melhor opção a considerar a seguir é o proctoring on-line, com boas práticas de avaliação remota.

Na Pearson Higher Education estamos comprometidos com a qualidade do ensino superior em toda a América Latina. O EdTest.ai é apenas uma de nossas muitas soluções digitais para o ensino universitário. Conheça agora mesmo!