Cik precīzi ir AI rakstīti eksāmena jautājumi? Ko rāda īsti darbi
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Skaitļi, saskaitīti no izsaukumu žurnāla
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citāts nebija norādītajā lappusē | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Ko nozīmē katra noraidīšana
Citāts nav atrodams norādītajā lappusē. Katram jautājumam jānes viens vai divi teikumi, izkopēti no dokumenta, ar lappusi, kurā tie atrodas. Serveris uzmeklē teikumu šīs lappuses saglabātajā tekstā. Ja tā tur nav, modelis ir uzrakstījis jautājumu par kaut ko, ko materiāls nesaka, vai ir sajaucis formulējumu, un jautājums tiek izmests. Šī ir pārbaude, kas noķer izdomātu faktu.
Otrs modelis atbildēja citādi. Modelim no citas saimes tiek dots jautājums un citāti, un nekas vairāk: nekādas atbilžu atslēgas, nekāda dokumenta. Ja tas no citātiem vien nevar nonākt pie atslēgā ierakstītās atbildes, citāti atbildi nepierāda, un jautājums tiek izmests. Šī ir pārbaude, kas noķer jautājumu, kurš izklausās pareizs, bet kuram ir nepareiza atslēga vai atslēga, ko citāts neapstiprina.
Jau uzrakstīta jautājuma atkārtojums. Katrs jaunais jautājums tiek salīdzināts ar visu, kas jau ģenerēts no dokumenta. Gandrīz identisks atkārtojums tiek izmests, tāpēc ilga ģenerēšana dod dažādus jautājumus, nevis tos pašus faktus citiem vārdiem.
Strukturāla kļūda. "Visi minētie", "neviens no minētajiem", ievads, kas jautā, kurš apgalvojums ir patiess, iespēja, kas ir uzkrītoši garāka par pārējām, jautājums, kas atsaucas uz "tekstu". Šīs ir pazīmes, kuras eksaminatori ir mācīti izņemt, un šeit tās tiek izņemtas pēc noteikuma, pirms sākas pārējās pārbaudes. Testa jautājumu kļūdu pārbaudītājs palaiž tos pašus noteikumus jebkuram jautājumam, ko ielīmē.
Kāpēc ģenerators, kas nerāda citātu, nevar pateikt savu precizitāti
Rīkam, kas pasniedz testu bez teikuma, no kura katrs jautājums nācis, nav iespējas saskaitīt, cik no tā jautājumiem avots neapstiprina, jo nekas tā konveijerā to nepārbaudīja. Tā precizitāte ir tas, ko atrodi, pats pārbaudot jautājumus, un tieši šo darbu tu gribēji atdot. Kāda konkurējoša rīka paša palīdzības lapa lūdz lietotājus pārskatīt ģenerēto testu, pirms uz to paļauties, un tas ir godīgi, ja nekas nav pārbaudīts. Skaitļi augstāk pastāv tāpēc, ka pārbaudīšana notiek, pirms students kaut ko redz, un tāpēc, ka izmestais tika saskaitīts, nevis klusi nolikts malā.
Kā pašam divdesmit sekundēs pārbaudīt AI jautājumu
- Atrodi teikumu. Ja jautājums nerāda, no kurienes tas nācis, meklē dokumentā tā atslēgas frāzi. Ja frāzes tur nav, jautājums nav no tava materiāla.
- Aizsedz atslēgu un atbildi pēc citāta. Izlasi tikai citēto teikumu un izvēlies iespēju. Ja citāts to neizšķir, jautājums pārbauda kaut ko, ko citāts nepasaka.
- Paskaties uz iespējām. Viena iespēja daudz garāka par pārējām, iespēja, kas atkārto ievadu, "visi minētie": katra ir pazīme, un katra ir iemesls jautājumam neuzticēties, nevis no tā mācīties.
Ko tas nozīmē, gatavojoties eksāmenam
Jautājumu kopa, kas izturējusi šīs pārbaudes, ir kopa, ar kuru vari trenēties, nepārlasot nodaļu, lai pārliecinātos, ka katrs no tiem ir īsts. Noraidītā daļa nav veltīgs darbs; tā ir tā daļa jebkurā AI ģenerētā jautājumu bankā, no kuras students ar nepārbaudītu rīku būtu mācījies. Bezmaksas plāns šajā vietnē palaiž tās pašas pārbaudes katram jautājumam, ko uzraksta, un parauga lapa rāda trīs, kas izturēja, ar lappusi, ko katrs citē.
Jautājumi, ko studenti uzdod
Vai augsts noraidīšanas rādītājs nozīmē sliktu modeli?
Ne pats par sevi. Modelis, kas raksta ambiciozas klīniskās vinjetes, zaudē vairāk no tām otrajam modelim nekā tāds, kas raksta atcerēšanās jautājumus, un ilga ģenerēšana no īsas nodaļas zaudē jautājumus dublikātu pārbaudē, jo nodaļā ir tikai tik daudz faktu. Rādītājs ir modeļa, materiāla un darba kopīga īpašība, tāpēc atskaite tiek publicēta ar skaitli, no kura tas skaitīts.
Vai jautājumi, kas iztur, ir garantēti pareizi?
Nē. Pārbaudes noķer jautājumu, kura citāta nav norādītajā lappusē, tādu, uz kuru otrs modelis atbild citādi nekā atslēga, tādu, kas atkārto agrāku jautājumu, un virkni strukturālu kļūdu. Tās nevar spriest par pašu medicīnu. Tāpēc katrs paturētais jautājums tiek rādīts ar savu citātu un lappuses numuru, lai students var izlasīt rindu, no kuras jautājums nācis.
Kāpēc atkārtots jautājums skaitās kā noraidījums?
Tāpēc, ka ģenerators, kuram prasa četrdesmit jautājumus no divpadsmit lappušu izdales materiāla, atkārtos tos pašus divpadsmit faktus citiem vārdiem, ja to nekas neaptur. Katrs jaunais jautājums tiek salīdzināts ar visu, kas jau uzrakstīts no dokumenta, un gandrīz atkārtojums tiek izmests, nevis pasniegts studentam kā jauns treniņa jautājums.
Kur ir neapstrādātie dati?
Noraidīšanas rādītāju lapa publicē atskaiti pa modeļu saimēm un pa joslām ar CSV lejupielādi, un skaitļi šajā lapā tiek lasīti no tās pašas atskaites. Izsaukumu žurnāls tiek uzturēts kopš 2026. gada 14. septembra.
Lai izmēģinātu, konts nav vajadzīgs. Reģistrēšanās saglabā tavu bibliotēku, vērtējumus un atkārtošanas rindu visās ierīcēs.
Publicēts , atjaunots .