Aké presné sú skúškové otázky napísané AI? Čo ukazujú skutočné úlohy
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Čísla, spočítané z denníka volaní
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citácia nebola na uvedenej strane | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Čo znamená každé zamietnutie
Citácia sa na uvedenej strane nenašla. Každá otázka musí niesť jednu alebo dve vety odpísané z dokumentu spolu so stranou, na ktorej sú. Server vetu vyhľadá v uloženom texte tej strany. Ak tam nie je, model napísal otázku o niečom, čo materiál nehovorí, alebo si zle zapamätal znenie, a otázka vypadne. Toto je kontrola, ktorá zachytí vymyslený fakt.
Druhý model odpovedal inak. Model z inej rodiny dostane otázku a citácie a nič viac: žiadny kľúč, žiadny dokument. Ak sa z citácií samotných nedostane ku kľúčovej odpovedi, citácie odpoveď nedokazujú a otázka vypadne. Toto je kontrola, ktorá zachytí dobre znejúcu otázku s nesprávnym kľúčom alebo kľúč, ktorý citácia nepodporuje.
Opakovanie už napísanej otázky. Každá nová otázka sa porovná so všetkým, čo už z dokumentu vzniklo. Takmer zhodná otázka vypadne, takže dlhý beh dá rôzne otázky namiesto tých istých faktov prerozprávaných dookola.
Štrukturálna chyba. "Všetky vyššie uvedené", "žiadne z uvedených", zadanie, ktoré sa pýta, ktoré tvrdenie je pravdivé, možnosť nápadne dlhšia než ostatné, otázka, ktorá odkazuje na "text". Toto sú stopy, ktoré sú skúšajúci školení odstraňovať, a tu sa odstraňujú podľa pravidla skôr, než sa spustia ostatné kontroly. Kontrola chýb v MCQ spustí tie isté pravidlá na ľubovoľnú otázku, ktorú vložíte.
Prečo generátor, ktorý neukazuje citáciu, nevie povedať svoju presnosť
Nástroj, ktorý vám podá test bez vety, z ktorej každá otázka vznikla, nemá ako spočítať, koľko jeho otázok nebolo podložených, lebo jeho postup nič také nekontroluje. Jeho presnosť je to, čo zistíte, keď otázky skontrolujete sami, čo je práve tá práca, ktorú ste chceli odovzdať. Stránka pomoci jedného konkurenčného nástroja sama žiada používateľov, aby si vytvorený test pred použitím prezreli, a to je poctivá rada, keď sa nič nekontrolovalo. Čísla vyššie existujú preto, lebo kontrola prebieha skôr, než študent čokoľvek uvidí, a preto, lebo to, čo vypadlo, sa spočítalo, a nie ticho zahodilo.
Ako si otázku od AI skontrolujete sami za dvadsať sekúnd
- Nájdite vetu. Ak otázka neukazuje, odkiaľ pochádza, vyhľadajte v dokumente jej kľúčovú frázu. Ak tam tá fráza nie je, otázka nie je z vášho materiálu.
- Zakryte kľúč a odpovedzte z citácie. Prečítajte si len citovanú vetu a vyberte možnosť. Ak citácia vec nerozhodne, otázka skúša niečo, čo citácia nehovorí.
- Pozrite sa na možnosti. Jedna možnosť oveľa dlhšia než ostatné, možnosť, ktorá opakuje zadanie, "všetky vyššie uvedené": každé z toho je stopa a každé je dôvod otázke neveriť, nie sa z nej učiť.
Čo to znamená pre prípravu na skúšku
Sada otázok, ktoré prežili tieto kontroly, je sada, na ktorej môžete cvičiť bez toho, aby ste znova čítali kapitolu a overovali, že každá z nich je skutočná. Zamietnutý podiel nie je stratená práca; je to tá časť každej databázy otázok vytvorenej AI, z ktorej by sa študent s neoverujúcim nástrojom učil. Bezplatný plán na tejto stránke spúšťa tie isté kontroly na každú otázku, ktorú napíše, a stránka s ukážkou ukazuje tri, ktoré prežili, spolu so stranou, ktorú každá cituje.
Otázky, ktoré kladú študenti
Znamená vysoká miera zamietnutia zlý model?
Samo o sebe nie. Model, ktorý píše ambiciózne klinické kazuistiky, ich stratí na druhom modeli viac než model, ktorý píše faktografické otázky, a dlhý beh z krátkej kapitoly stráca otázky na kontrole duplikátov, lebo kapitola má len obmedzený počet faktov. Miera je vlastnosťou modelu, materiálu a behu dohromady, a preto sa správa zverejňuje spolu s počtom, z ktorého bola spočítaná.
Sú otázky, ktoré prejdú, zaručene správne?
Nie. Kontroly zachytia otázku, ktorej citácia nie je na strane, ktorú uvádza, otázku, na ktorú druhý model odpovie inak než kľúč, otázku, ktorá opakuje skoršiu, a sadu štrukturálnych chýb. Nedokážu posúdiť medicínu. Preto sa každá ponechaná otázka ukazuje s citáciou a číslom strany, aby si študent mohol prečítať vetu, z ktorej otázka vznikla.
Prečo sa opakovaná otázka počíta ako zamietnutie?
Lebo generátor, od ktorého žiadate štyridsať otázok z dvanásťstranového materiálu, prerozpráva tých istých dvanásť faktov inými slovami, ak ho nič nezastaví. Každá nová otázka sa porovná so všetkým, čo už z dokumentu vzniklo, a takmer zhodná otázka vypadne, namiesto toho, aby sa študentovi podala ako nové cvičenie.
Kde sú surové dáta?
Stránka s mierami zamietnutia zverejňuje správu podľa rodiny modelov a podľa režimu spolu so stiahnutím v CSV a čísla na tejto stránke sa čítajú z tej istej správy. Denník volaní sa vedie od 14. septembra 2026.
Na vyskúšanie nie je potrebný účet. Registrácia uchová vašu knižnicu, známky a front opakovania na všetkých zariadeniach.
Zverejnené , aktualizované .