Qual é o rigor das perguntas de exame escritas por IA? O que mostram os trabalhos reais
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Os números, contados a partir do registo de chamadas
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citação não encontrada na página indicada | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
O que significa cada rejeição
Citação não encontrada na página citada. Cada pergunta tem de trazer uma ou duas frases copiadas do documento, com a página onde estão. O servidor procura a frase no texto guardado dessa página. Se não estiver lá, o modelo escreveu uma pergunta sobre algo que o material não diz, ou trocou as palavras, e a pergunta é eliminada. É esta a verificação que apanha um facto inventado.
O segundo modelo respondeu de forma diferente. Um modelo de outra família recebe a pergunta e as citações, e mais nada: sem chave de resposta, sem documento. Se não conseguir chegar à resposta da chave só a partir das citações, as citações não provam a resposta, e a pergunta é eliminada. É esta a verificação que apanha uma pergunta que soa bem com a chave errada, ou uma chave que a citação não sustenta.
Repetição de uma pergunta já escrita. Cada nova pergunta é comparada com tudo o que já foi gerado a partir do documento. Uma quase repetição é eliminada, para que uma série longa dê perguntas diferentes em vez dos mesmos factos por outras palavras.
Falha estrutural. "Todas as anteriores", "nenhuma das anteriores", um enunciado que pergunta qual das afirmações é verdadeira, uma opção visivelmente mais comprida do que as outras, uma pergunta que remete para "o texto". São os sinais que os examinadores são treinados para remover, e aqui são removidos por regra antes de as outras verificações correrem. O verificador de falhas em escolha múltipla aplica as mesmas regras a qualquer pergunta que coles.
Porque é que um gerador que não mostra a citação não te consegue dizer o seu rigor
Uma ferramenta que te entrega um questionário sem a frase de onde veio cada pergunta não tem forma de contar quantas das suas perguntas ficaram sem apoio, porque nada na sua cadeia foi verificar. O rigor dela é o que descobrires quando verificares as perguntas tu mesmo, que é justamente o trabalho que querias delegar. A página de ajuda de uma ferramenta concorrente pede aos seus utilizadores que revejam o questionário gerado antes de confiarem nele, que é a coisa honesta a dizer quando nada foi verificado. Os números acima existem porque a verificação acontece antes de o estudante ver seja o que for, e porque o que foi rejeitado foi contado em vez de ser descartado em silêncio.
Como verificar tu mesmo uma pergunta de IA em vinte segundos
- Encontra a frase. Se a pergunta não mostrar de onde veio, procura no documento a sua expressão-chave. Se a expressão não estiver lá, a pergunta não vem do teu material.
- Tapa a chave e responde a partir da citação. Lê só a frase citada e escolhe uma opção. Se a citação não resolver a questão, a pergunta está a testar algo que a citação não diz.
- Olha para as opções. Uma opção muito mais comprida do que as outras, uma opção que repete o enunciado, "todas as anteriores": cada uma é um sinal, e cada uma é razão para desconfiar da pergunta, não para aprender com ela.
O que isto significa para a preparação do exame
Um conjunto de perguntas que sobreviveu a estas verificações é um conjunto com o qual podes treinar sem voltar a ler o capítulo para confirmar que cada uma é real. A parte rejeitada não é esforço desperdiçado; é a parte de qualquer banco de perguntas gerado por IA que um estudante com uma ferramenta sem verificação teria estudado. O plano gratuito deste site corre as mesmas verificações em todas as perguntas que escreve, e a página de exemplos mostra três que sobreviveram, com a página que cada uma cita.
Perguntas que os estudantes fazem
Uma taxa de rejeição alta significa que o modelo é mau?
Não por si só. Um modelo que escreve casos clínicos ambiciosos perde mais perguntas para o segundo modelo do que um que escreve perguntas de memorização, e uma série longa a partir de um capítulo curto perde perguntas na verificação de duplicados porque o capítulo só tem um certo número de factos. A taxa é uma propriedade do modelo, do material e do trabalho em conjunto, e é por isso que o relatório é publicado com o número a partir do qual foi contado.
As perguntas que passam têm garantia de estar corretas?
Não. As verificações apanham uma pergunta cuja citação não está na página que cita, uma a que um segundo modelo responde de forma diferente da chave, uma que repete uma pergunta anterior, e um conjunto de falhas estruturais. Não conseguem julgar a medicina. É por isso que todas as perguntas mantidas são mostradas com a sua citação e o número da página, para que o estudante possa ler a linha de onde a pergunta veio.
Porque é que uma pergunta repetida conta como rejeição?
Porque um gerador a quem se pedem quarenta perguntas a partir de uma sebenta de doze páginas vai repetir os mesmos doze factos por outras palavras se nada o impedir. Cada nova pergunta é comparada com tudo o que já foi escrito a partir do documento, e uma quase repetição é rejeitada em vez de ser entregue ao estudante como treino novo.
Onde estão os dados em bruto?
A página das taxas de rejeição publica o relatório por família de modelos e por via, com transferência em CSV, e os números desta página são lidos do mesmo relatório. O registo de chamadas é mantido desde 14 de setembro de 2026.
Experimenta no teu próprio PDF
Não é preciso conta para experimentar. Com registo, a tua biblioteca, as notas e a fila de revisão ficam guardadas em todos os dispositivos.
Publicado , atualizado .