Kiek tikslūs DI parašyti egzamino klausimai? Ką rodo tikros užduotys
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Skaičiai, suskaičiuoti iš užklausų žurnalo
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citatos nerasta nurodytame puslapyje | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Ką reiškia kiekvienas atmetimas
Citatos nurodytame puslapyje nėra. Kiekvienas klausimas privalo turėti vieną ar du sakinius, nukopijuotus iš dokumento, su puslapiu, kuriame jie yra. Serveris ieško to sakinio išsaugotame to puslapio tekste. Jei jo ten nėra, modelis parašė klausimą apie tai, ko medžiaga nesako, arba neteisingai prisiminė formuluotę, ir klausimas pašalinamas. Būtent ši patikra pagauna išgalvotą faktą.
Antras modelis atsakė kitaip. Kitos šeimos modeliui duodamas klausimas ir citatos, ir nieko daugiau: jokio atsakymų rakto, jokio dokumento. Jei jis vien iš citatų negali prieiti prie rakte nurodyto atsakymo, citatos atsakymo neįrodo, ir klausimas pašalinamas. Būtent ši patikra pagauna gerai skambantį klausimą su klaidingu raktu arba raktą, kurio citata nepagrindžia.
Jau parašyto klausimo pakartojimas. Kiekvienas naujas klausimas lyginamas su viskuo, kas jau sugeneruota iš dokumento. Beveik identiškas klausimas pašalinamas, todėl ilgas paleidimas duoda skirtingus klausimus, o ne tuos pačius faktus kitais žodžiais.
Struktūrinis trūkumas. "Visi išvardyti", "nė vienas iš išvardytų", klausimo pradžia, kuri klausia, kuris teiginys teisingas, variantas, akivaizdžiai ilgesnis už kitus, klausimas, kuris remiasi "tekstu". Tai požymiai, kuriuos egzaminuotojai mokomi pašalinti, ir čia jie pašalinami pagal taisyklę dar prieš paleidžiant kitas patikras. Testo klausimų trūkumų tikrintuvas taiko tas pačias taisykles bet kuriam tavo įklijuotam klausimui.
Kodėl generatorius, nerodantis citatos, negali pasakyti savo tikslumo
Įrankis, kuris paduoda tau testą be sakinio, iš kurio kilo kiekvienas klausimas, niekaip negali suskaičiuoti, kiek jo klausimų buvo nepagrįsti, nes jo grandinėje niekas to netikrino. Jo tikslumas yra tai, ką rasi pats tikrindamas klausimus, o būtent šį darbą ir norėjai perduoti. Vieno konkuruojančio įrankio pagalbos puslapyje prašoma peržiūrėti sugeneruotą testą prieš juo pasikliaujant, ir tai sąžininga pasakyti, kai niekas nebuvo patikrinta. Aukščiau pateikti skaičiai žinomi todėl, kad tikrinama dar prieš studentui ką nors pamatant, ir todėl, kad atmesti klausimai buvo suskaičiuoti, o ne tyliai išmesti.
Kaip pačiam patikrinti DI klausimą per dvidešimt sekundžių
- Rask sakinį. Jei klausimas nerodo, iš kur kilo, paieškok dokumente jo raktinės frazės. Jei tos frazės ten nėra, klausimas ne iš tavo medžiagos.
- Uždenk atsakymų raktą ir atsakyk pagal citatą. Perskaityk tik cituojamą sakinį ir pasirink variantą. Jei citata klausimo neišsprendžia, klausimas tikrina tai, ko citata nesako.
- Pažiūrėk į variantus. Vienas variantas daug ilgesnis už kitus, variantas, kartojantis klausimo pradžią, "visi išvardyti": kiekvienas yra požymis ir priežastis klausimu nepasitikėti, o ne iš jo mokytis.
Ką tai reiškia ruošiantis egzaminui
Klausimų rinkinys, išlaikęs šias patikras, yra toks, su kuriuo gali mokytis neperskaitydamas skyriaus iš naujo vien tam, kad įsitikintum, jog kiekvienas klausimas tikras. Atmesta dalis nėra iššvaistytas darbas; tai ta DI sugeneruoto klausimų banko dalis, iš kurios studentas, naudojantis nepatikrintu įrankiu, būtų mokęsis. Nemokamas šios svetainės planas atlieka tas pačias patikras kiekvienam parašytam klausimui, o pavyzdžių puslapyje parodyti trys išlikę klausimai su puslapiu, kurį kiekvienas cituoja.
Klausimai, kuriuos užduoda studentai
Ar didelis atmetimo rodiklis reiškia blogą modelį?
Ne savaime. Modelis, rašantis ambicingas klinikines vinjetes, jų daugiau praranda antrajam modeliui nei tas, kuris rašo atsiminimo klausimus, o ilgas paleidimas iš trumpo skyriaus praranda klausimus dublikatų patikroje, nes skyriuje faktų tėra tiek. Rodiklis yra modelio, medžiagos ir paleidimo savybė kartu, todėl ataskaita skelbiama kartu su skaičiumi, iš kurio ji suskaičiuota.
Ar patikras išlaikę klausimai garantuotai teisingi?
Ne. Patikros pagauna klausimą, kurio citatos nurodytame puslapyje nėra, klausimą, į kurį antras modelis atsako kitaip nei raktas, klausimą, kuris kartoja ankstesnį, ir keletą struktūrinių trūkumų. Jos negali įvertinti medicinos. Todėl kiekvienas paliktas klausimas rodomas su citata ir puslapio numeriu, kad studentas galėtų perskaityti eilutę, iš kurios klausimas kilo.
Kodėl pakartotas klausimas laikomas atmetimu?
Todėl, kad generatorius, kurio prašoma keturiasdešimties klausimų iš dvylikos puslapių dalomosios medžiagos, tuos pačius dvylika faktų perpasakos kitais žodžiais, jei niekas jo nesustabdys. Kiekvienas naujas klausimas lyginamas su viskuo, kas jau parašyta iš dokumento, ir beveik identiškas klausimas atmetamas, o ne paduodamas studentui kaip nauja praktika.
Kur yra pirminiai duomenys?
Atmetimo rodiklių puslapis skelbia ataskaitą pagal modelių šeimas ir pagal srautus su CSV atsisiuntimu, o šio puslapio skaičiai imami iš tos pačios ataskaitos. Užklausų žurnalas vedamas nuo 2026 m. rugsėjo 14 d.
Žiūrėti rodiklius pagal modelį
Išbandyti paskyros nereikia. Registracija išsaugo biblioteką, įvertinimus ir kartojimo eilę visuose įrenginiuose.
Paskelbta , atnaujinta