¿Cuál es la precisión de las preguntas de examen escritas por IA? Lo que muestran los trabajos reales
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Los números, contados en el registro de llamadas
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Cita no encontrada en la página citada | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Qué significa cada descarte
La cita no aparece en la página que indica. Cada pregunta tiene que llevar una o dos frases copiadas del documento, con la página en la que están. El servidor busca la frase en el texto guardado de esa página. Si no está ahí, el modelo escribió una pregunta sobre algo que el material no dice, o recordó mal la redacción, y la pregunta se descarta. Esta es la comprobación que caza un dato inventado.
El segundo modelo respondió otra cosa. A un modelo de otra familia se le dan la pregunta y las citas, y nada más: ni respuesta correcta ni documento. Si no puede llegar a la respuesta marcada solo con las citas, las citas no demuestran la respuesta, y la pregunta se descarta. Esta es la comprobación que caza una pregunta que suena bien con la respuesta equivocada, o una respuesta que la cita no sostiene.
Repetición de una pregunta ya escrita. Cada pregunta nueva se compara con todo lo ya generado del documento. Una casi repetición se descarta, así que una tanda larga da preguntas distintas en vez de los mismos datos repetidos.
Fallo estructural. "Todas las anteriores", "ninguna de las anteriores", un enunciado que pregunta qué afirmación es cierta, una opción mucho más larga que las otras, una pregunta que se refiere a "el texto". Son las señales que a los examinadores se les enseña a eliminar, y aquí se eliminan por regla antes de que se ejecuten las demás comprobaciones. El verificador de defectos de preguntas tipo test aplica las mismas reglas a cualquier pregunta que pegues.
Por qué un generador que no muestra la cita no puede decirte su precisión
Una herramienta que te entrega un examen sin la frase de la que sale cada pregunta no tiene forma de contar cuántas de sus preguntas no estaban respaldadas, porque nada en su proceso lo miró. Su precisión es la que encuentres cuando compruebes las preguntas tú mismo, que es justo el trabajo que querías delegar. La página de ayuda de una herramienta de la competencia pide a sus usuarios que revisen el examen generado antes de fiarse de él, que es lo honesto cuando no se ha comprobado nada. Los números de arriba existen porque la comprobación ocurre antes de que el estudiante vea nada, y porque lo descartado se contó en vez de desaparecer sin más.
Cómo comprobar tú mismo una pregunta de IA en veinte segundos
- Busca la frase. Si la pregunta no muestra de dónde sale, busca su frase clave en el documento. Si la frase no está, la pregunta no viene de tu material.
- Tapa la respuesta correcta y contesta desde la cita. Lee solo la frase citada y elige una opción. Si la cita no lo resuelve, la pregunta evalúa algo que la cita no dice.
- Mira las opciones. Una opción mucho más larga que las demás, una opción que repite el enunciado, "todas las anteriores": cada una es una señal, y cada una es motivo para desconfiar de la pregunta, no para aprender de ella.
Qué significa para preparar un examen
Un conjunto de preguntas que ha superado estas comprobaciones es un conjunto con el que puedes practicar sin releer el capítulo para asegurarte de que cada una es real. La parte descartada no es esfuerzo perdido; es la parte de cualquier banco de preguntas generado con IA que un estudiante con una herramienta sin comprobaciones habría estudiado. El plan gratuito de este sitio aplica las mismas comprobaciones a cada pregunta que escribe, y la página de muestra enseña tres que las superaron, con la página que cita cada una.
Preguntas que hacen los estudiantes
¿Una tasa de rechazo alta significa que el modelo es malo?
Por sí sola, no. Un modelo que escribe casos clínicos ambiciosos pierde más ítems con el segundo modelo que uno que escribe preguntas de memoria, y una tanda larga a partir de un capítulo corto pierde preguntas en la comprobación de duplicados porque el capítulo solo tiene unos cuantos datos. La tasa es una propiedad del modelo, del material y de la tanda a la vez, y por eso el informe se publica con el número del que se contó.
¿Las preguntas que pasan tienen garantía de ser correctas?
No. Las comprobaciones cazan una pregunta cuya cita no está en la página que indica, una que un segundo modelo responde distinto de la respuesta marcada, una que repite una pregunta anterior, y un conjunto de fallos estructurales. No pueden juzgar la medicina. Por eso cada pregunta que se conserva se muestra con su cita y su número de página, para que el estudiante pueda leer la línea de la que sale la pregunta.
¿Por qué una pregunta repetida cuenta como descarte?
Porque un generador al que le pides cuarenta preguntas de un apunte de doce páginas repetirá los mismos doce datos con otras palabras si nada lo impide. Cada pregunta nueva se compara con todo lo ya escrito del documento, y una casi repetición se descarta en vez de entregarse al estudiante como práctica nueva.
¿Dónde están los datos en bruto?
La página de tasas de rechazo publica el informe por familia de modelos y por vía con una descarga en CSV, y los números de esta página se leen del mismo informe. El registro de llamadas se guarda desde el 14 de septiembre de 2026.
No hace falta cuenta para probarlo. Registrarte guarda tu biblioteca, tus notas y tu cola de repaso en todos tus dispositivos.
Publicado , actualizado .