Jak přesné jsou zkouškové otázky psané AI? Co ukazují skutečné úlohy
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Čísla, spočítaná z protokolu volání
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citace nebyla na uvedené straně | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Co které zamítnutí znamená
Citace nenalezena na uvedené straně. Každá otázka musí nést jednu nebo dvě věty opsané z dokumentu i se stranou, na které leží. Server větu vyhledá v uloženém textu té strany. Pokud tam není, model napsal otázku o něčem, co materiál neříká, nebo si špatně zapamatoval znění, a otázka se vyřadí. Tohle je kontrola, která zachytí vymyšlený fakt.
Druhý model odpověděl jinak. Model z jiné rodiny dostane otázku a citace, a nic víc: žádný klíč, žádný dokument. Pokud se z citací ke klíčové odpovědi nedostane, citace odpověď nedokazují a otázka se vyřadí. Tohle je kontrola, která zachytí dobře znějící otázku se špatným klíčem nebo klíč, který citace nepodporuje.
Opakování už napsané otázky. Každá nová otázka se porovná se vším, co už z dokumentu vzniklo. Blízké opakování se vyřadí, takže dlouhý běh dá různé otázky místo pořád dokola týchž faktů.
Strukturální vada. "Všechny výše uvedené", "žádná z výše uvedených", zadání ptající se, které tvrzení je pravdivé, možnost nápadně delší než ostatní, otázka odkazující na "text". To jsou signály, které jsou zkoušející cvičeni odstraňovat, a tady se odstraňují pravidlem dřív, než proběhnou ostatní kontroly. Kontrola chyb v otázkách spustí stejná pravidla na jakoukoli otázku, kterou vložíte.
Proč generátor, který neukazuje citaci, nemůže říct, jak je přesný
Nástroj, který vám dá test bez věty, ze které každá otázka vznikla, nemá jak spočítat, kolik jeho otázek nebylo podloženo, protože se v jeho postupu nic nedívalo. Jeho přesnost je to, co zjistíte, když si otázky zkontrolujete sami, což je právě ta práce, kterou jste chtěli předat. Nápověda jednoho konkurenčního nástroje žádá své uživatele, aby vygenerovaný test před použitím zkontrolovali, což je poctivé, když se nekontrolovalo nic. Čísla výše existují proto, že kontrola proběhne dřív, než student cokoli uvidí, a protože se to, co se vyhodilo, spočítalo, místo aby se tiše zahodilo.
Jak si otázku od AI sami ověříte za dvacet sekund
- Najděte větu. Pokud otázka neukazuje, odkud pochází, vyhledejte v dokumentu její klíčovou formulaci. Pokud tam není, otázka nepochází z vašeho materiálu.
- Zakryjte klíč a odpovězte z citace. Přečtěte jen citovanou větu a vyberte možnost. Pokud to citace nerozhodne, otázka testuje něco, co citace neříká.
- Podívejte se na možnosti. Jedna možnost mnohem delší než ostatní, možnost opakující zadání, "všechny výše uvedené": každá z nich je signál a každá je důvod otázce nevěřit, ne se z ní učit.
Co to znamená pro přípravu na zkoušku
Sada otázek, která těmito kontrolami prošla, je sada, na které můžete procvičovat, aniž byste znovu četli kapitolu a ověřovali, že je každá otázka skutečná. Zamítnutý podíl není zbytečná práce; je to ta část každé databáze otázek psané AI, ze které by se student s neověřovaným nástrojem učil. Bezplatný plán na tomto webu spouští stejné kontroly na každé otázce, kterou napíše, a ukázková stránka ukazuje tři, které prošly, i se stranou, kterou každá cituje.
Otázky, které studenti kladou
Znamená vysoká míra zamítnutí špatný model?
Samo o sobě ne. Model, který píše ambiciózní klinické vinětky, jich na druhém modelu ztratí víc než model, který píše otázky na vybavení, a dlouhý běh z krátké kapitoly ztrácí otázky na kontrole duplicit, protože kapitola má jen omezeně faktů. Míra je vlastností modelu, materiálu a běhu dohromady, a proto se zpráva publikuje i s počtem, ze kterého byla spočítána.
Jsou otázky, které projdou, zaručeně správné?
Ne. Kontroly zachytí otázku, jejíž citace není na uvedené straně, otázku, kterou druhý model zodpoví jinak než klíč, otázku opakující dřívější otázku a sadu strukturálních vad. Nedokážou posoudit medicínu. Proto se každá ponechaná otázka ukazuje s citací a číslem strany, aby si student mohl přečíst řádku, ze které otázka vznikla.
Proč se opakovaná otázka počítá jako zamítnutí?
Protože generátor, po kterém chcete čtyřicet otázek z dvanáctistránkového handoutu, převypráví týchž dvanáct faktů jinými slovy, když ho nic nezastaví. Každá nová otázka se porovná se vším, co už z dokumentu vzniklo, a blízké opakování se vyhodí, místo aby se studentovi předalo jako nové procvičování.
Kde jsou surová data?
Stránka s mírou zamítnutí publikuje zprávu podle rodiny modelů a podle režimu, se stažením v CSV, a čísla na této stránce se čtou ze stejné zprávy. Protokol volání se vede od 14. září 2026.
Vyzkoušejte to na vlastním PDF
K vyzkoušení není potřeba účet. Registrace uchová vaši knihovnu, známky a frontu opakování na všech zařízeních.
Publikováno , aktualizováno .