Kui täpsed on AI kirjutatud eksamiküsimused? Mida näitavad päris tööd
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Numbrid, loendatud päringulogist
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Tsitaati polnud viidatud lehel | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Mida iga tagasilükkamine tähendab
Tsitaati ei leitud viidatud leheküljelt. Iga küsimus peab kandma üht või kahte dokumendist välja kopeeritud lauset koos leheküljega, kus need asuvad. Server otsib lause üles selle lehekülje salvestatud tekstist. Kui seda seal ei ole, kirjutas mudel küsimuse millegi kohta, mida materjal ei ütle, või mäletas sõnastust valesti, ja küsimus kustutatakse. See on kontroll, mis püüab kinni väljamõeldud fakti.
Teine mudel vastas teisiti. Teisest mudeliperekonnast pärit mudelile antakse küsimus ja tsitaadid ning ei midagi muud: ei vastusevõtit ega dokumenti. Kui see ei jõua ainult tsitaatide põhjal võtmes märgitud vastuseni, siis tsitaadid vastust ei tõenda ja küsimus kustutatakse. See on kontroll, mis püüab kinni õigena kõlava küsimuse vale vastusevõtmega või võtme, mida tsitaat ei toeta.
Juba kirjutatud küsimuse kordus. Iga uut küsimust võrreldakse kõigega, mis dokumendist juba loodud on. Peaaegu kattuv kustutatakse, nii et pikk seeria annab erinevaid küsimusi, mitte samu fakte ümber sõnastatuna.
Struktuuriviga. "Kõik eespool nimetatud", "mitte ükski eespool nimetatutest", küsimus, mis küsib, milline väide on õige, teistest silmatorkavalt pikem variant, küsimus, mis viitab "tekstile". Need on märgid, mille eemaldamist eksamineerijatele õpetatakse, ja siin eemaldatakse need reegli järgi enne teiste kontrollide käivitumist. MCQ vigade kontrollija rakendab samu reegleid igale küsimusele, mille sa sisse kleebid.
Miks generaator, mis tsitaati ei näita, ei oska oma täpsust öelda
Tööriist, mis annab sulle testi ilma lauseta, millest iga küsimus tuli, ei saa kuidagi loendada, kui paljud tema küsimused olid tõendamata, sest miski tema konveieris ei vaadanud. Tema täpsus on see, mille sa leiad, kui küsimused ise üle kontrollid, ja just selle töö tahtsid sa ära anda. Ühe konkureeriva tööriista enda abilehekülg palub kasutajatel loodud testi enne sellele tuginemist üle vaadata, mis on aus asi öelda, kui midagi ei kontrollitud. Ülaltoodud numbrid on olemas sellepärast, et kontrollimine toimub enne, kui tudeng midagi näeb, ja sellepärast, et väljavisatu loendati, mitte ei kustutatud vaikselt.
Kuidas AI kirjutatud küsimust ise kahekümne sekundiga kontrollida
- Otsi lause üles. Kui küsimus ei näita, kust see tuli, otsi dokumendist selle võtmefraasi. Kui fraasi seal ei ole, ei ole küsimus sinu materjalist.
- Kata vastusevõti kinni ja vasta tsitaadi põhjal. Loe ainult tsiteeritud lauset ja vali variant. Kui tsitaat seda ei otsusta, kontrollib küsimus midagi, mida tsitaat ei ütle.
- Vaata variante. Üks variant palju pikem kui teised, variant, mis kordab küsimuse teksti, "kõik eespool nimetatud": igaüks neist on märk ja põhjus küsimust mitte usaldada, mitte sellest õppida.
Mida see tähendab eksamiks valmistumisele
Küsimuste kogum, mis need kontrollid üle elas, on kogum, millega saab harjutada ilma peatükki uuesti läbi lugemata, et veenduda iga küsimuse õigsuses. Tagasi lükatud osa ei ole raisatud töö; see on osa igast AI loodud küsimustepangast, millest kontrollimata tööriista kasutav tudeng oleks õppinud. Selle saidi tasuta plaan teeb samad kontrollid igale küsimusele, mille see kirjutab, ja näidiste lehekülg näitab kolme, mis kontrollid üle elasid, koos leheküljega, mida igaüks tsiteerib.
Küsimused, mida tudengid küsivad
Kas kõrge tagasilükkamise määr tähendab halba mudelit?
Mitte iseenesest. Mudel, mis kirjutab ambitsioonikaid kliinilisi juhtumikirjeldusi, kaotab neid teisele mudelile rohkem kui mudel, mis kirjutab meenutusküsimusi, ja pikk seeria lühikesest peatükist kaotab küsimusi kordusekontrollile, sest peatükis on ainult teatud hulk fakte. Määr on mudeli, materjali ja töö ühine omadus, ja just sellepärast avaldatakse aruanne koos arvuga, millest see loendati.
Kas läbi saanud küsimused on kindlasti õiged?
Ei. Kontrollid püüavad kinni küsimuse, mille tsitaati viidatud leheküljel ei ole, küsimuse, millele teine mudel vastab vastusevõtmest erinevalt, küsimuse, mis kordab varasemat, ja rea struktuurivigu. Meditsiini üle nad otsustada ei saa. Just sellepärast näidatakse iga alles jäänud küsimust koos tsitaadi ja leheküljenumbriga, et tudeng saaks lugeda rida, millest küsimus tuli.
Miks loeb korduv küsimus tagasilükkamiseks?
Sest generaator, kellelt küsitakse nelikümmend küsimust kaheteistkümne leheküljelise jaotusmaterjali põhjal, sõnastab samad kaksteist fakti erinevate sõnadega ümber, kui miski teda ei peata. Iga uut küsimust võrreldakse kõigega, mis dokumendist juba kirjutatud on, ja peaaegu kattuv visatakse välja, selle asemel et anda see tudengile uue harjutusena.
Kus on algandmed?
Tagasilükkamise määrade lehekülg avaldab aruande mudelipere ja raja kaupa koos CSV allalaadimisega ning selle lehekülje numbrid loetakse samast aruandest. Päringulogi on peetud alates 14. septembrist 2026.
Proovimiseks pole kontot vaja. Registreerimine hoiab su kogu, hinded ja kordamisjärjekorra kõigis seadmetes.
Avaldatud , uuendatud .