# Qual é o rigor das perguntas de exame escritas por IA? O que mostram os trabalhos reais

> Taxas de rejeição de trabalhos reais sobre manuais de medicina: quantas vezes uma pergunta de IA falha a citação, a segunda resposta às cegas ou os duplicados.

Cópia em Markdown de https://meduniexam.com/pt/blog/how-accurate-are-ai-exam-questions (a página HTML), publicada por MedUni Exam. Publicado 16 de setembro de 2026. Guia do site para agentes: https://meduniexam.com/llms.txt.

Escrito por [Nicholas](https://meduniexam.com/pt/about.md). Verificado em 24 de setembro de 2026.

Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since September 14, 2026 of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.

## Os números, contados a partir do registo de chamadas

| What the checks counted | Share of questions written |
| --- | --- |
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citação não encontrada na página indicada | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |

Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the [rejection rates page](https://meduniexam.com/pt/stats/rejections.md).

## O que significa cada rejeição

**Citação não encontrada na página citada.** Cada pergunta tem de trazer uma ou duas frases copiadas do documento, com a página onde estão. O servidor procura a frase no texto guardado dessa página. Se não estiver lá, o modelo escreveu uma pergunta sobre algo que o material não diz, ou trocou as palavras, e a pergunta é eliminada. É esta a verificação que apanha um facto inventado.

**O segundo modelo respondeu de forma diferente.** Um modelo de outra família recebe a pergunta e as citações, e mais nada: sem chave de resposta, sem documento. Se não conseguir chegar à resposta da chave só a partir das citações, as citações não provam a resposta, e a pergunta é eliminada. É esta a verificação que apanha uma pergunta que soa bem com a chave errada, ou uma chave que a citação não sustenta.

**Repetição de uma pergunta já escrita.** Cada nova pergunta é comparada com tudo o que já foi gerado a partir do documento. Uma quase repetição é eliminada, para que uma série longa dê perguntas diferentes em vez dos mesmos factos por outras palavras.

**Falha estrutural.** "Todas as anteriores", "nenhuma das anteriores", um enunciado que pergunta qual das afirmações é verdadeira, uma opção visivelmente mais comprida do que as outras, uma pergunta que remete para "o texto". São os sinais que os examinadores são treinados para remover, e aqui são removidos por regra antes de as outras verificações correrem. O [verificador de falhas em escolha múltipla](https://meduniexam.com/pt/tools/mcq-checker.md) aplica as mesmas regras a qualquer pergunta que coles.

## Porque é que um gerador que não mostra a citação não te consegue dizer o seu rigor

Uma ferramenta que te entrega um questionário sem a frase de onde veio cada pergunta não tem forma de contar quantas das suas perguntas ficaram sem apoio, porque nada na sua cadeia foi verificar. O rigor dela é o que descobrires quando verificares as perguntas tu mesmo, que é justamente o trabalho que querias delegar. A página de ajuda de uma ferramenta concorrente pede aos seus utilizadores que revejam o questionário gerado antes de confiarem nele, que é a coisa honesta a dizer quando nada foi verificado. Os números acima existem porque a verificação acontece antes de o estudante ver seja o que for, e porque o que foi rejeitado foi contado em vez de ser descartado em silêncio.

## Como verificar tu mesmo uma pergunta de IA em vinte segundos

1. **Encontra a frase.** Se a pergunta não mostrar de onde veio, procura no documento a sua expressão-chave. Se a expressão não estiver lá, a pergunta não vem do teu material.
2. **Tapa a chave e responde a partir da citação.** Lê só a frase citada e escolhe uma opção. Se a citação não resolver a questão, a pergunta está a testar algo que a citação não diz.
3. **Olha para as opções.** Uma opção muito mais comprida do que as outras, uma opção que repete o enunciado, "todas as anteriores": cada uma é um sinal, e cada uma é razão para desconfiar da pergunta, não para aprender com ela.

## O que isto significa para a preparação do exame

Um conjunto de perguntas que sobreviveu a estas verificações é um conjunto com o qual podes treinar sem voltar a ler o capítulo para confirmar que cada uma é real. A parte rejeitada não é esforço desperdiçado; é a parte de qualquer banco de perguntas gerado por IA que um estudante com uma ferramenta sem verificação teria estudado. O plano gratuito deste site corre as mesmas verificações em todas as perguntas que escreve, e a [página de exemplos](https://meduniexam.com/pt/sample.md) mostra três que sobreviveram, com a página que cada uma cita.

## Perguntas que os estudantes fazem

### Uma taxa de rejeição alta significa que o modelo é mau?

Não por si só. Um modelo que escreve casos clínicos ambiciosos perde mais perguntas para o segundo modelo do que um que escreve perguntas de memorização, e uma série longa a partir de um capítulo curto perde perguntas na verificação de duplicados porque o capítulo só tem um certo número de factos. A taxa é uma propriedade do modelo, do material e do trabalho em conjunto, e é por isso que o relatório é publicado com o número a partir do qual foi contado.

### As perguntas que passam têm garantia de estar corretas?

Não. As verificações apanham uma pergunta cuja citação não está na página que cita, uma a que um segundo modelo responde de forma diferente da chave, uma que repete uma pergunta anterior, e um conjunto de falhas estruturais. Não conseguem julgar a medicina. É por isso que todas as perguntas mantidas são mostradas com a sua citação e o número da página, para que o estudante possa ler a linha de onde a pergunta veio.

### Porque é que uma pergunta repetida conta como rejeição?

Porque um gerador a quem se pedem quarenta perguntas a partir de uma sebenta de doze páginas vai repetir os mesmos doze factos por outras palavras se nada o impedir. Cada nova pergunta é comparada com tudo o que já foi escrito a partir do documento, e uma quase repetição é rejeitada em vez de ser entregue ao estudante como treino novo.

### Onde estão os dados em bruto?

A página das taxas de rejeição publica o relatório por família de modelos e por via, com transferência em CSV, e os números desta página são lidos do mesmo relatório. O registo de chamadas é mantido desde 14 de setembro de 2026.

[Experimenta no teu próprio PDF](https://meduniexam.com/#/?lang=pt)

[Ver as taxas por modelo](https://meduniexam.com/pt/stats/rejections.md)

Não é preciso conta para experimentar. Com registo, a tua biblioteca, as notas e a fila de revisão ficam guardadas em todos os dispositivos.

## Páginas relacionadas

- [Taxas de rejeição](https://meduniexam.com/pt/stats/rejections.md): Taxas de rejeição publicadas por família de modelos nos últimos 30 dias, com o N e uma transferência em CSV.
- [Como funciona](https://meduniexam.com/pt/how-it-works.md): A cadeia de verificação, passo a passo, incluindo o que é rejeitado e porquê.
- [Artigos](https://meduniexam.com/pt/blog.md): O índice dos artigos: todos os textos, do mais recente para o mais antigo.
- [Quantas Perguntas de Treino por Dia Chegam](https://meduniexam.com/pt/blog/how-many-practice-questions-per-day.md): Um objetivo diário de perguntas de treino fixado pelo número de perguntas distintas que o teu próprio material aguenta, usando a taxa de repetição contada neste site, 17,6 por cento, como marca do ponto em que treinar passa a ser reler.
- [Plano de Repetição Espaçada: 3 Semanas para o Exame](https://meduniexam.com/pt/blog/spaced-repetition-three-weeks-before-exam.md): Como montar um plano de repetição espaçada para um exame que está a três ou quatro semanas: conta as sessões de trás para a frente a partir da data, faz de cada repetição uma tentativa de evocação, e deixa as perguntas que erraste escolher a sessão seguinte.