Koliko su točna ispitna pitanja koja piše umjetna inteligencija? Što pokazuju stvarni poslovi
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Brojevi, izračunati iz zapisnika poziva
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Citat nije pronađen na navedenoj stranici | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Što znači svako odbijanje
Citata nema na navedenoj stranici. Svako pitanje mora nositi jednu ili dvije rečenice prepisane iz dokumenta, sa stranicom na kojoj stoje. Poslužitelj traži rečenicu u pohranjenom tekstu te stranice. Ako je tamo nema, model je napisao pitanje o nečemu što gradivo ne govori ili je krivo zapamtio tekst, pa se pitanje odbacuje. To je provjera koja hvata izmišljenu činjenicu.
Drugi model odgovorio je drukčije. Model iz druge obitelji dobiva pitanje i citate i ništa više: bez ključa i bez dokumenta. Ako iz samih citata ne može doći do odgovora iz ključa, citati ne dokazuju odgovor i pitanje se odbacuje. To je provjera koja hvata pitanje koje dobro zvuči, ali ima pogrešan ključ, ili ključ koji citat ne podupire.
Ponavljanje već napisanog pitanja. Svako novo pitanje uspoređuje se sa svime što je već nastalo iz dokumenta. Gotovo isto pitanje se odbacuje, pa dugo generiranje daje različita pitanja umjesto istih činjenica drugim riječima.
Strukturna pogreška. "Sve navedeno", "ništa od navedenog", osnova koja pita koja je tvrdnja točna, odgovor upadljivo dulji od ostalih, pitanje koje se poziva na "tekst". To su znakovi koje ispitivači uče uklanjati, a ovdje se uklanjaju po pravilu prije nego što krenu ostale provjere. Provjera MCQ pitanja pokreće ista pravila na svakom pitanju koje zalijepite.
Zašto generator koji ne pokazuje citat ne može reći koliko je točan
Alat koji vam daje kviz bez rečenice iz koje je svako pitanje nastalo nema načina prebrojati koliko njegovih pitanja nema uporište u izvoru, jer ništa u njegovu postupku to nije provjeravalo. Njegova točnost je ono što nađete kada pitanja provjerite sami, a to je posao koji ste htjeli prepustiti nekom drugom. Stranica za pomoć jednog konkurentskog alata traži od korisnika da pregledaju generirani kviz prije nego što se na njega oslone, što je pošteno reći kada ništa nije provjereno. Gornji brojevi postoje jer se provjera događa prije nego što student išta vidi i jer se ono što je odbačeno brojilo, umjesto da se tiho ispusti.
Kako sami provjeriti AI pitanje u dvadeset sekundi
- Pronađite rečenicu. Ako pitanje ne pokazuje odakle je došlo, potražite njegov ključni izraz u dokumentu. Ako izraza tamo nema, pitanje nije iz vašeg gradiva.
- Pokrijte ključ i odgovorite iz citata. Pročitajte samo citiranu rečenicu i odaberite odgovor. Ako citat ne rješava pitanje, pitanje ispituje nešto što citat ne govori.
- Pogledajte ponuđene odgovore. Jedan odgovor puno dulji od ostalih, odgovor koji ponavlja osnovu pitanja, "sve navedeno": svaki je od toga znak, i svaki je razlog da pitanju ne vjerujete, a ne da iz njega učite.
Što to znači za pripremu ispita
Skup pitanja koji je preživio ove provjere skup je na kojem možete vježbati bez ponovnog čitanja poglavlja da biste bili sigurni da je svako pitanje stvarno. Odbačeni dio nije uzaludan trud; to je dio svake baze pitanja koju piše umjetna inteligencija iz kojeg bi student s neprovjerenim alatom učio. Besplatni plan na ovoj stranici pokreće iste provjere na svakom pitanju koje napiše, a stranica s oglednim pitanjima pokazuje tri koja su preživjela, sa stranicom koju svako citira.
Pitanja koja studenti postavljaju
Znači li visoka stopa odbijanja da je model loš?
Ne sam po sebi. Model koji piše ambiciozne kliničke prikaze gubi ih više na drugom modelu nego onaj koji piše pitanja na dosjećanje, a dugo generiranje iz kratkog poglavlja gubi pitanja na provjeri ponavljanja jer poglavlje ima ograničen broj činjenica. Stopa je svojstvo modela, gradiva i samog generiranja zajedno, zbog čega se izvještaj objavljuje s brojem iz kojeg je izračunat.
Jesu li pitanja koja prođu zajamčeno točna?
Ne. Provjere hvataju pitanje čijeg citata nema na stranici koju navodi, pitanje na koje drugi model odgovori drukčije od ključa, pitanje koje ponavlja ranije napisano i skup strukturnih pogrešaka. Ne mogu prosuditi medicinski sadržaj. Zato se svako zadržano pitanje prikazuje s citatom i brojem stranice, kako bi student mogao pročitati redak iz kojeg je pitanje nastalo.
Zašto se ponovljeno pitanje broji kao odbijeno?
Zato što će generator od kojeg se traži četrdeset pitanja iz materijala od dvanaest stranica ponoviti istih dvanaest činjenica drugim riječima ako ga ništa ne zaustavi. Svako novo pitanje uspoređuje se sa svime što je već napisano iz dokumenta, a gotovo isto pitanje se odbacuje umjesto da se studentu preda kao nova vježba.
Gdje su sirovi podaci?
Stranica sa stopama odbijanja objavljuje izvještaj po obitelji modela i po traci, s preuzimanjem u CSV-u, a brojevi na ovoj stranici čitaju se iz istog izvještaja. Zapisnik poziva vodi se od 14. rujna 2026.
Za isprobavanje nije potreban račun. Registracija čuva vašu knjižnicu, ocjene i red za ponavljanje na svim uređajima.
Objavljeno , ažurirano