Kako natančna so izpitna vprašanja, ki jih napiše AI? Kaj kažejo prava opravila
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Številke, preštete iz dnevnika klicev
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citata ni bilo na navedeni strani | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Kaj pomeni posamezna zavrnitev
Citata ni na navedeni strani. Vsako vprašanje mora nositi enega ali dva stavka, prepisana iz dokumenta, s stranjo, na kateri sta. Strežnik stavek poišče v shranjenem besedilu te strani. Če ga tam ni, je model napisal vprašanje o nečem, česar gradivo ne pove, ali pa se je zmotil pri besedilu, in vprašanje odpade. To je preverjanje, ki ujame izmišljeno dejstvo.
Drugi model je odgovoril drugače. Model iz druge družine dobi vprašanje in citate, nič drugega: brez ključa z odgovori, brez dokumenta. Če iz samih citatov ne more priti do ključnega odgovora, citati odgovora ne dokazujejo in vprašanje odpade. To je preverjanje, ki ujame vprašanje, ki zveni pravilno, a ima napačen ključ, ali ključ, ki ga citat ne podpira.
Ponovitev že napisanega vprašanja. Vsako novo vprašanje se primerja z vsemi, ki so že nastala iz dokumenta. Skoraj enako vprašanje odpade, zato dolg zagon da različna vprašanja namesto istih dejstev, povedanih znova.
Strukturna napaka. "Vse od naštetega", "nič od naštetega", vprašanje, ki sprašuje, katera trditev drži, možnost, opazno daljša od drugih, vprašanje, ki se sklicuje na "besedilo". To so znaki, ki se jih izpraševalci učijo odstraniti, in tu jih odstrani pravilo, preden se izvedejo druga preverjanja. Preverjevalnik napak v vprašanjih izvede ista pravila nad katerim koli vprašanjem, ki ga prilepite.
Zakaj generator, ki ne pokaže citata, ne more povedati svoje natančnosti
Orodje, ki vam izroči kviz brez stavka, iz katerega je nastalo posamezno vprašanje, ne more prešteti, koliko njegovih vprašanj ni bilo podprtih, ker tega v njegovem postopku nič ne preveri. Njegova natančnost je to, kar najdete, ko vprašanja preverite sami, kar pa je ravno delo, ki ste ga hoteli oddati. Stran s pomočjo enega konkurenčnega orodja svoje uporabnike prosi, naj ustvarjen kviz pregledajo, preden se nanj zanesejo, kar je iskreno, kadar ni bilo preverjeno nič. Zgornje številke obstajajo, ker se preverjanje zgodi, preden študent kar koli vidi, in ker je bilo tisto, kar je bilo zavrženo, prešteto in ne tiho odvrženo.
Kako sami preverite vprašanje, ki ga je napisal AI, v dvajsetih sekundah
- Poiščite stavek. Če vprašanje ne pokaže, od kod je, poiščite njegovo ključno besedno zvezo v dokumentu. Če je tam ni, vprašanje ni iz vašega gradiva.
- Zakrijte ključ in odgovorite iz citata. Preberite samo citirani stavek in izberite možnost. Če citat ne zadošča za odločitev, vprašanje preverja nekaj, česar citat ne pove.
- Poglejte možnosti. Ena možnost, veliko daljša od drugih, možnost, ki ponovi vprašanje, "vse od naštetega": vsaka je znak in vsaka je razlog, da vprašanju ne zaupate, ne pa da se iz njega učite.
Kaj to pomeni za pripravo na izpit
Nabor vprašanj, ki je preživel ta preverjanja, je nabor, na katerem lahko vadite, ne da bi morali znova prebrati poglavje in preveriti, ali je vsako vprašanje resnično. Zavrnjeni delež ni izgubljeno delo; to je del vsake zbirke vprašanj, ustvarjene z AI, iz katerega bi se študent z nepreverjenim orodjem učil. Brezplačni paket na tej strani izvede ista preverjanja nad vsakim vprašanjem, ki ga napiše, vzorčna stran pa kaže tri, ki so preživela, s stranjo, ki jo vsako navaja.
Vprašanja, ki jih postavljajo študenti
Ali visoka stopnja zavrnitev pomeni slab model?
Ne sama po sebi. Model, ki piše zahtevne klinične vinjete, jih pri drugem modelu izgubi več kot tisti, ki piše vprašanja na priklic, dolg zagon iz kratkega poglavja pa vprašanja izgublja pri preverjanju podvojenosti, ker ima poglavje le omejeno število dejstev. Stopnja je lastnost modela, gradiva in zagona skupaj, zato je poročilo objavljeno s številom, iz katerega je bilo izračunano.
Ali so vprašanja, ki preidejo preverjanja, zagotovo pravilna?
Ne. Preverjanja ujamejo vprašanje, katerega citata ni na strani, ki jo navaja, vprašanje, na katero drugi model odgovori drugače kot ključ, vprašanje, ki ponovi prejšnje, in nabor strukturnih napak. Ne morejo presoditi medicine. Zato je vsako ohranjeno vprašanje prikazano s citatom in številko strani, da lahko študent prebere vrstico, iz katere je vprašanje nastalo.
Zakaj ponovljeno vprašanje šteje kot zavrnitev?
Ker bo generator, ki ga prosite za štirideset vprašanj iz dvanajststranskega izročka, istih dvanajst dejstev povedal z drugimi besedami, če ga nič ne ustavi. Vsako novo vprašanje se primerja z vsemi, ki so že nastala iz dokumenta, in skoraj enako vprašanje se zavrže, namesto da bi ga študent dobil kot novo vadbo.
Kje so surovi podatki?
Stran s stopnjami zavrnitev objavlja poročilo po družinah modelov in po pasovih s prenosom v obliki CSV, številke na tej strani pa so prebrane iz istega poročila. Dnevnik klicev se vodi od 14. septembra 2026.
Preizkusite na svoji datoteki PDF
Za preizkus račun ni potreben. Registracija ohrani vašo knjižnico, ocene in vrsto za ponavljanje na vseh napravah.
Objavljeno , posodobljeno .