Quanto sono accurate le domande d’esame scritte dall’IA? Cosa mostrano i lavori veri
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
I numeri, contati dal registro delle chiamate
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citazione non trovata sulla pagina indicata | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Cosa significa ogni scarto
Citazione non trovata sulla pagina citata. Ogni domanda deve portare una o due frasi copiate dal documento, con la pagina su cui si trovano. Il server cerca la frase nel testo memorizzato di quella pagina. Se non c’è, il modello ha scritto una domanda su qualcosa che il materiale non dice, oppure ha ricordato male le parole, e la domanda viene scartata. È questo il controllo che prende un fatto inventato.
Il secondo modello ha risposto in modo diverso. A un modello di un’altra famiglia vengono dati la domanda e le citazioni, e nient’altro: nessuna chiave di risposta, nessun documento. Se non riesce ad arrivare alla risposta indicata partendo dalle sole citazioni, le citazioni non dimostrano la risposta, e la domanda viene scartata. È questo il controllo che prende una domanda che suona giusta con la chiave sbagliata, o una chiave che la citazione non sostiene.
Ripetizione di una domanda già scritta. Ogni nuova domanda viene confrontata con tutto quello che è già stato generato dal documento. Una quasi ripetizione viene scartata, così una sessione lunga dà domande diverse invece degli stessi fatti ripetuti.
Difetto strutturale. "Tutte le precedenti", "nessuna delle precedenti", un quesito che chiede quale affermazione è vera, un’opzione vistosamente più lunga delle altre, una domanda che fa riferimento a "il testo". Sono gli indizi che gli esaminatori sono addestrati a togliere, e qui vengono tolti per regola prima che partano gli altri controlli. Il controllo dei difetti nelle domande a scelta multipla applica le stesse regole a qualsiasi domanda tu incolli.
Perché un generatore che non mostra la citazione non può dirti quanto è accurato
Uno strumento che ti consegna un quiz senza la frase da cui nasce ogni domanda non ha modo di contare quante delle sue domande non erano sostenute dal testo, perché nella sua catena nessuno ha guardato. La sua accuratezza è quella che trovi controllando le domande da solo, cioè il lavoro che volevi delegare. La pagina di aiuto di uno strumento concorrente chiede ai suoi utenti di rivedere il quiz generato prima di fidarsene, che è la cosa onesta da dire quando non è stato controllato niente. I numeri qui sopra esistono perché il controllo avviene prima che lo studente veda qualcosa, e perché quello che è stato scartato è stato contato invece di essere tolto di nascosto.
Come controllare da solo una domanda scritta dall’IA in venti secondi
- Trova la frase. Se la domanda non mostra da dove nasce, cerca nel documento la sua espressione chiave. Se l’espressione non c’è, la domanda non viene dal tuo materiale.
- Copri la chiave di risposta e rispondi partendo dalla citazione. Leggi solo la frase citata e scegli un’opzione. Se la citazione non basta a decidere, la domanda sta verificando qualcosa che la citazione non dice.
- Guarda le opzioni. Un’opzione molto più lunga delle altre, un’opzione che ripete il testo della domanda, "tutte le precedenti": ognuno è un indizio, e ognuno è un motivo per diffidare della domanda, non per impararci sopra.
Cosa significa per la preparazione all’esame
Un insieme di domande che ha superato questi controlli è un insieme su cui puoi esercitarti senza rileggere il capitolo per assicurarti che ognuna sia vera. La quota scartata non è fatica sprecata; è la parte di qualsiasi banca dati generata dall’IA su cui uno studente che usa uno strumento senza controlli avrebbe studiato. Il piano gratuito di questo sito esegue gli stessi controlli su ogni domanda che scrive, e la pagina degli esempi ne mostra tre che sono passate, con la pagina che ognuna cita.
Le domande che fanno gli studenti
Un tasso di scarto alto vuol dire che il modello è scadente?
Non da solo. Un modello che scrive casi clinici ambiziosi ne perde di più con il secondo modello rispetto a uno che scrive domande di richiamo, e una sessione lunga da un capitolo breve perde domande al controllo dei duplicati perché il capitolo ha solo un certo numero di fatti. Il tasso è una proprietà del modello, del materiale e della sessione insieme, ed è per questo che il rapporto viene pubblicato con il numero da cui è stato calcolato.
Le domande che passano sono garantite come corrette?
No. I controlli prendono una domanda la cui citazione non è sulla pagina che cita, una a cui un secondo modello risponde in modo diverso dalla chiave, una che ripete una domanda precedente e una serie di difetti strutturali. Non possono giudicare la medicina. Per questo ogni domanda tenuta viene mostrata con la sua citazione e il numero di pagina, così lo studente può leggere la riga da cui nasce la domanda.
Perché una domanda ripetuta conta come scarto?
Perché un generatore a cui vengono chieste quaranta domande da una dispensa di dodici pagine ripeterà gli stessi dodici fatti con parole diverse se nessuno lo ferma. Ogni nuova domanda viene confrontata con tutto quello che è già stato scritto dal documento, e una quasi ripetizione viene scartata invece di essere consegnata allo studente come nuova esercitazione.
Dove sono i dati grezzi?
La pagina dei tassi di scarto pubblica il rapporto per famiglia di modelli e per corsia con un download in CSV, e i numeri di questa pagina sono letti dallo stesso rapporto. Il registro delle chiamate è tenuto dal 14 settembre 2026.
Non serve un account per provarlo. Registrarsi conserva la tua libreria, i voti e la coda di ripasso su ogni dispositivo.
Pubblicata , aggiornata .