Hversu nákvæmar eru prófspurningar skrifaðar af gervigreind? Það sem raunveruleg verk sýna
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Tölurnar, taldar úr kallaskránni
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Tilvitnun fannst ekki á tilgreindri síðu | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Hvað hver höfnun þýðir
Tilvitnun finnst ekki á tilgreindri síðu. Hver spurning verður að bera eina eða tvær setningar afritaðar úr skjalinu, ásamt síðunni sem þær standa á. Þjónninn flettir setningunni upp í geymdum texta þeirrar síðu. Sé hún ekki þar skrifaði líkanið spurningu um eitthvað sem efnið segir ekki, eða misminnti orðalagið, og spurningin er felld. Þetta er athugunin sem grípur uppspunna staðreynd.
Seinna líkanið svaraði öðruvísi. Líkan úr annarri líkanafjölskyldu fær spurninguna og tilvitnanirnar, og ekkert annað: engan svarlykil, ekkert skjal. Komist það ekki að svarinu í lyklinum út frá tilvitnununum einum sanna tilvitnanirnar ekki svarið, og spurningin er felld. Þetta er athugunin sem grípur spurningu sem hljómar rétt en ber rangan lykil, eða lykil sem tilvitnunin styður ekki.
Endurtekning á spurningu sem er þegar skrifuð. Hver ný spurning er borin saman við allt sem þegar hefur verið búið til úr skjalinu. Nálæg endurtekning er felld, svo löng keyrsla gefur ólíkar spurningar frekar en sömu staðreyndir endurorðaðar.
Byggingargalli. "Allt ofangreint", "ekkert ofangreint", spurning sem spyr hvaða fullyrðing sé rétt, valkostur áberandi lengri en hinir, spurning sem vísar í "textann". Þetta eru vísbendingarnar sem prófasmiðir eru þjálfaðir í að fjarlægja, og þær eru fjarlægðar hér eftir reglu áður en hinar athuganirnar eru keyrðar. Gallaskoðun krossaspurninga keyrir sömu reglur á hvaða spurningu sem þú límir inn.
Hvers vegna spurningasmiður sem sýnir enga tilvitnun getur ekki sagt þér hversu nákvæmur hann er
Tól sem réttir þér próf án setningarinnar sem hver spurning kom úr hefur enga leið til að telja hversu margar spurningar þess voru án stoðar, því ekkert í ferli þess leit eftir því. Nákvæmni þess er það sem þú finnur þegar þú athugar spurningarnar upp á eigin spýtur, sem er einmitt vinnan sem þú ætlaðir að losna við. Hjálparsíða eins samkeppnistóls biður notendur sína um að yfirfara prófið sem búið er til áður en þeir treysta því, sem er hreinskilið að segja þegar ekkert var athugað. Tölurnar hér að ofan eru til af því að athugunin fer fram áður en nemandinn sér nokkuð, og af því að það sem var fellt var talið frekar en látið hverfa í hljóði.
Hvernig á að athuga gervigreindarspurningu á tuttugu sekúndum
- Finndu setninguna. Ef spurningin sýnir ekki hvaðan hún kom, leitaðu að lykilorðum hennar í skjalinu. Sé orðasambandið ekki þar er spurningin ekki úr efninu þínu.
- Hyldu svarlykilinn og svaraðu út frá tilvitnuninni. Lestu aðeins tilvitnuðu setninguna og veldu valkost. Ef tilvitnunin sker ekki úr er spurningin að prófa eitthvað sem tilvitnunin segir ekki.
- Skoðaðu valkostina. Einn valkostur miklu lengri en hinir, valkostur sem endurtekur spurninguna, "allt ofangreint": hvert um sig er vísbending, og hvert um sig er ástæða til að vantreysta spurningunni, ekki til að læra af henni.
Hvað það þýðir fyrir prófundirbúning
Safn spurninga sem lifði þessar athuganir af er safn sem þú getur æft þig á án þess að lesa kaflann aftur til að ganga úr skugga um að hver spurning sé raunveruleg. Það sem var fellt er ekki sóuð vinna; það er sá hluti hvers spurningabanka frá gervigreind sem nemandi með óyfirfarið tól hefði lært af. Ókeypis leiðin á þessum vef keyrir sömu athuganir á hverri spurningu sem hún skrifar, og sýnisíðan sýnir þrjár sem lifðu af, með síðunni sem hver þeirra vitnar í.
Spurningar sem nemendur spyrja
Þýðir hátt höfnunarhlutfall að líkanið sé lélegt?
Ekki eitt og sér. Líkan sem skrifar metnaðarfullar klínískar sjúkrasögur tapar fleirum þeirra til seinna líkansins en líkan sem skrifar upprifjunarspurningar, og löng keyrsla úr stuttum kafla tapar spurningum í endurtekningarathuguninni af því að kaflinn hefur aðeins takmarkaðan fjölda staðreynda. Hlutfallið er eiginleiki líkansins, efnisins og keyrslunnar saman, og þess vegna er skýrslan birt með tölunni sem hún var talin út frá.
Er tryggt að spurningarnar sem standast séu réttar?
Nei. Athuganirnar grípa spurningu sem ber tilvitnun sem er ekki á síðunni sem hún vísar í, spurningu sem annað líkan svarar öðruvísi en svarlykillinn segir, spurningu sem endurtekur fyrri spurningu, og röð byggingargalla. Þær geta ekki dæmt um læknisfræðina. Þess vegna er hver spurning sem heldur velli sýnd með tilvitnun sinni og blaðsíðutali, svo nemandinn geti lesið línuna sem spurningin kom úr.
Hvers vegna telst endurtekin spurning sem höfnun?
Af því að spurningasmiður sem er beðinn um fjörutíu spurningar úr tólf síðna glósublaði endurorðar sömu tólf staðreyndirnar ef ekkert stöðvar hann. Hver ný spurning er borin saman við allt sem þegar hefur verið skrifað úr skjalinu, og nálæg endurtekning er felld frekar en rétt nemandanum sem ný æfing.
Hvar eru hrágögnin?
Síðan um höfnunarhlutföll birtir skýrsluna eftir líkanafjölskyldum og eftir brautum með CSV-niðurhali, og tölurnar á þessari síðu eru lesnar úr sömu skýrslu. Kallaskráin hefur verið haldin frá 14. september 2026.
Enginn aðgangur nauðsynlegur til að prófa. Skráning geymir safnið þitt, einkunnir og upprifjunarröð á öllum tækjum.
Birt , uppfært .