Kuinka tarkkoja tekoälyn kirjoittamat tenttikysymykset ovat? Mitä oikeat työt näyttävät
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Luvut kutsulokista laskettuina
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Lainausta ei löytynyt mainitulta sivulta | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Mitä kukin hylkäys tarkoittaa
Lainausta ei löydy mainitulta sivulta. Jokaisen kysymyksen on kannettava yksi tai kaksi asiakirjasta kopioitua virkettä ja sivu, jolla ne ovat. Palvelin etsii virkkeen tuon sivun tallennetusta tekstistä. Jos sitä ei ole siellä, malli kirjoitti kysymyksen jostain, mitä materiaali ei sano, tai muisti sanamuodon väärin, ja kysymys pudotetaan. Tämä tarkistus paljastaa keksityn faktan.
Toinen malli vastasi toisin. Toisesta malliperheestä olevalle mallille annetaan kysymys ja lainaukset eikä mitään muuta: ei vastausavainta, ei asiakirjaa. Jos se ei pääse vastausavaimen mukaiseen vastaukseen pelkkien lainausten perusteella, lainaukset eivät todista vastausta, ja kysymys pudotetaan. Tämä tarkistus paljastaa oikealta kuulostavan kysymyksen, jonka vastausavain on väärä, tai vastausavaimen, jota lainaus ei tue.
Toisto jo kirjoitetusta kysymyksestä. Jokaista uutta kysymystä verrataan kaikkeen, mitä asiakirjasta on jo luotu. Lähes sama kysymys pudotetaan, joten pitkä ajo antaa erilaisia kysymyksiä eikä samoja faktoja uudelleen muotoiltuna.
Rakenteellinen virhe. "Kaikki edellä mainitut", "ei mikään edellä mainituista", alku, joka kysyy, mikä väittämä pitää paikkansa, vaihtoehto, joka on silmiinpistävästi muita pidempi, kysymys, joka viittaa "tekstiin". Nämä ovat merkkejä, joita tentaattorit on koulutettu poistamaan, ja ne poistetaan täällä säännöllä ennen kuin muut tarkistukset ajetaan. MCQ-virhetarkistin ajaa samat säännöt mihin tahansa liittämääsi kysymykseen.
Miksi generaattori, joka ei näytä lainausta, ei voi kertoa tarkkuuttaan
Työkalu, joka antaa sinulle tentin ilman virkettä, josta kukin kysymys tuli, ei voi mitenkään laskea, kuinka moni sen kysymyksistä oli vailla tukea lähteessä, koska mikään sen putkessa ei tarkistanut sitä. Sen tarkkuus on se, minkä löydät, kun tarkistat kysymykset itse, ja juuri sen työn yritit siirtää pois itseltäsi. Erään kilpailevan työkalun oma ohjesivu pyytää käyttäjiä tarkistamaan luodun tentin ennen kuin siihen luotetaan, ja se on rehellistä sanoa, kun mitään ei tarkistettu. Yllä olevat luvut ovat olemassa, koska tarkistus tapahtuu ennen kuin opiskelija näkee mitään, ja koska pois heitetyt laskettiin eikä niitä pudotettu hiljaa.
Miten tarkistat tekoälyn kysymyksen itse kahdessakymmenessä sekunnissa
- Etsi virke. Jos kysymys ei näytä, mistä se tuli, etsi asiakirjasta sen avainilmaus. Jos ilmausta ei ole siellä, kysymys ei ole sinun materiaalistasi.
- Peitä vastausavain ja vastaa lainauksen perusteella. Lue vain lainattu virke ja valitse vaihtoehto. Jos lainaus ei ratkaise vastausta, kysymys mittaa jotain, mitä lainaus ei sano.
- Katso vaihtoehtoja. Yksi vaihtoehto paljon muita pidempi, vaihtoehto, joka toistaa kysymyksen alun, "kaikki edellä mainitut": jokainen on paljastava merkki, ja jokainen on syy epäillä kysymystä eikä oppia siitä.
Mitä tämä tarkoittaa tenttiin valmistautumisessa
Näistä tarkistuksista selvinneillä kysymyksillä voi harjoitella lukematta lukua uudelleen sen varmistamiseksi, että jokainen kysymys on aito. Hylätty osuus ei ole hukkaan mennyttä työtä; se on se osa mistä tahansa tekoälyn luomasta kysymyspankista, josta tarkistamatonta työkalua käyttävä opiskelija olisi opiskellut. Tämän sivuston ilmainen taso ajaa samat tarkistukset jokaiselle kirjoittamalleen kysymykselle, ja esimerkkisivu näyttää kolme läpi päässyttä kysymystä ja sivun, jota kukin lainaa.
Opiskelijoiden kysymyksiä
Tarkoittaako korkea hylkäysprosentti huonoa mallia?
Ei yksinään. Malli, joka kirjoittaa kunnianhimoisia kliinisiä potilastapauksia, menettää niitä toiselle mallille enemmän kuin malli, joka kirjoittaa muistamista mittaavia kysymyksiä, ja pitkä ajo lyhyestä luvusta menettää kysymyksiä kaksoiskappaletarkistukselle, koska luvussa on vain rajallinen määrä faktoja. Prosentti on mallin, materiaalin ja ajon yhteinen ominaisuus, ja siksi raportti julkaistaan sen määrän kanssa, josta se on laskettu.
Ovatko läpäisseet kysymykset varmasti oikein?
Ei. Tarkistukset havaitsevat kysymyksen, jonka lainausta ei ole sillä sivulla, johon se viittaa, kysymyksen, johon toinen malli vastaa eri tavalla kuin vastausavain, kysymyksen, joka toistaa aiemman, sekä joukon rakenteellisia virheitä. Ne eivät voi arvioida lääketiedettä. Siksi jokainen säilytetty kysymys näytetään lainauksensa ja sivunumeronsa kanssa, jotta opiskelija voi lukea rivin, josta kysymys tuli.
Miksi toistettu kysymys lasketaan hylkäykseksi?
Koska generaattori, jolta pyydetään neljääkymmentä kysymystä kahdentoista sivun monisteesta, muotoilee samat kaksitoista faktaa eri sanoin, jos mikään ei estä sitä. Jokaista uutta kysymystä verrataan kaikkeen, mitä asiakirjasta on jo kirjoitettu, ja lähes sama kysymys heitetään pois sen sijaan, että se annettaisiin opiskelijalle uutena harjoituksena.
Missä raakadata on?
Hylkäysprosenttien sivu julkaisee raportin malliperheittäin ja kaistoittain CSV-latauksen kanssa, ja tämän sivun luvut luetaan samasta raportista. Kutsulokia on pidetty 14. syyskuuta 2026 lähtien.
Kokeiluun ei tarvita tiliä. Rekisteröityminen säilyttää kirjastosi, arvosanasi ja kertausjonosi kaikilla laitteilla.
Julkaistu , päivitetty .