Mennyire pontosak az AI által írt vizsgakérdések? Mit mutatnak a valódi futások
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
A számok, a hívásnaplóból számolva
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Az idézet nincs a megadott oldalon | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Mit jelentenek az egyes elutasítások
Az idézet nincs ott a hivatkozott oldalon. Minden kérdésnek egy vagy két, a dokumentumból kimásolt mondatot kell hordoznia, azzal az oldallal együtt, amelyen ezek állnak. A szerver megkeresi a mondatot annak az oldalnak a tárolt szövegében. Ha nincs ott, akkor a modell olyasmiről írt kérdést, amit az anyag nem mond ki, vagy rosszul emlékezett a megfogalmazásra, és a kérdés kiesik. Ez az az ellenőrzés, amely elkapja a kitalált tényt.
A második modell máshogy válaszolt. Egy másik családba tartozó modell megkapja a kérdést és az idézeteket, semmi mást: se megoldókulcsot, se dokumentumot. Ha pusztán az idézetekből nem jut el a megjelölt válaszhoz, akkor az idézetek nem bizonyítják a választ, és a kérdés kiesik. Ez az az ellenőrzés, amely elkapja a jól hangzó kérdést rossz megoldókulccsal, vagy az olyan kulcsot, amelyet az idézet nem támaszt alá.
Egy már megírt kérdés megismétlése. Minden új kérdést összevet a rendszer mindazzal, ami a dokumentumból már elkészült. A közel azonos kérdés kiesik, így egy hosszú futás különböző kérdéseket ad, nem pedig ugyanazokat a tényeket újrafogalmazva.
Szerkezeti hiba. "A fentiek mindegyike", "a fentiek egyike sem", olyan kérdéstörzs, amely azt kérdezi, melyik állítás igaz, egy feltűnően hosszabb válaszlehetőség, egy kérdés, amely "a szövegre" hivatkozik. Ezek azok a jelek, amelyek eltávolítására a vizsgáztatókat kiképzik, és itt szabály alapján tűnnek el, mielőtt a többi ellenőrzés lefutna. Az MCQ-hibaellenőrző ugyanezeket a szabályokat futtatja le bármely kérdésen, amelyet beillesztesz.
Miért nem tudja megmondani a pontosságát az a generátor, amely nem mutat idézetet
Az az eszköz, amely úgy ad a kezedbe tesztet, hogy nem mutatja meg, melyik mondatból származik az egyes kérdés, nem tudja megszámolni, hány kérdése volt alátámasztatlan, mert a folyamatában semmi nem nézte meg. A pontossága az, amit magad találsz, amikor átnézed a kérdéseket, vagyis épp az a munka, amit át akartál adni. Egy versenytárs eszköz saját súgóoldala arra kéri a felhasználóit, hogy nézzék át a generált tesztet, mielőtt támaszkodnának rá, ami őszinte, ha semmit nem ellenőriztek. A fenti számok azért léteznek, mert az ellenőrzés azelőtt történik, hogy a hallgató bármit látna, és mert amit a rendszer kidobott, azt meg is számolta, nem pedig csendben eltüntette.
Hogyan ellenőrizz egy AI-kérdést magad, húsz másodperc alatt
- Keresd meg a mondatot. Ha a kérdés nem mutatja meg, honnan származik, keress rá a kulcskifejezésére a dokumentumban. Ha a kifejezés nincs ott, a kérdés nem a te anyagodból való.
- Takard le a megoldókulcsot, és válaszolj az idézetből. Olvasd el csak az idézett mondatot, és válassz egy lehetőséget. Ha az idézet nem dönti el a kérdést, akkor a kérdés olyasmit kér számon, amit az idézet nem mond ki.
- Nézd meg a válaszlehetőségeket. Egy lehetőség, amelyik sokkal hosszabb a többinél, egy lehetőség, amelyik megismétli a kérdéstörzset, a "fentiek mindegyike": mindegyik árulkodó jel, és mindegyik ok arra, hogy ne bízz a kérdésben, ne pedig arra, hogy tanulj belőle.
Mit jelent ez a vizsgára készülésben
Egy olyan kérdéssor, amely átment ezeken az ellenőrzéseken, olyan sor, amelyen gyakorolhatsz anélkül, hogy újra elolvasnád a fejezetet, hogy megbizonyosodj minden kérdés valódiságáról. Az elutasított rész nem elpazarolt munka; ez az a rész minden AI-val készült kérdésbankban, amelyből egy ellenőrizetlen eszközt használó hallgató tanult volna. Ezen az oldalon az ingyenes csomag is ugyanezeket az ellenőrzéseket futtatja minden megírt kérdésen, és a mintaoldal hármat mutat azok közül, amelyek átmentek, azzal az oldallal együtt, amelyet mindegyik idéz.
Amit a hallgatók kérdezni szoktak
A magas elutasítási arány rossz modellt jelent?
Önmagában nem. Az a modell, amely összetett klinikai esetleírásokat ír, többet veszít belőlük a második modellnél, mint az, amelyik egyszerű felidézéses kérdéseket ír, és egy rövid fejezetből indított hosszú futás az ismétlésellenőrzésen veszít kérdéseket, mert a fejezetben csak ennyi tény van. Az arány a modell, az anyag és a futás közös tulajdonsága, ezért jelenik meg a jelentés mindig azzal a darabszámmal együtt, amelyből számoltuk.
Garantáltan helyesek azok a kérdések, amelyek átmennek?
Nem. Az ellenőrzések elkapják azt a kérdést, amelynek az idézete nincs a hivatkozott oldalon, azt, amelyre a második modell a kulcstól eltérően válaszol, azt, amely egy korábbi kérdést ismétel, és egy sor szerkezeti hibát. Az orvosszakmai tartalmat nem tudják megítélni. Ezért jelenik meg minden megtartott kérdés az idézetével és az oldalszámával, hogy a hallgató elolvashassa azt a sort, amelyből a kérdés készült.
Miért számít elutasításnak egy megismételt kérdés?
Mert az a generátor, amelyiktől negyven kérdést kérnek egy tizenkét oldalas anyagból, ugyanazt a tizenkét tényt fogja más szavakkal újramondani, ha semmi nem állítja meg. Minden új kérdést összevet a rendszer mindazzal, ami a dokumentumból már elkészült, és a közel azonos kérdést kidobja, ahelyett hogy új gyakorlásként adná a hallgató kezébe.
Hol vannak a nyers adatok?
Az elutasítási arányok oldala modellcsaládonként és sávonként közli a jelentést, CSV-letöltéssel, és az ezen az oldalon szereplő számok ugyanabból a jelentésből származnak. A hívásnapló 2026. szeptember 14. óta készül.
Nézd meg az arányokat modellenként
A kipróbáláshoz nem kell fiók. A regisztráció megőrzi a könyvtáradat, a jegyeidet és az ismétlési sorodat minden eszközön.
Közzétéve , frissítve