Hylkäysprosentit malliperheittäin
Jokainen tälle sivustolle kirjoitettu kysymys käy läpi samat tarkistukset, kirjoitti sen mikä malli tahansa. Näin monta niistä kukin malliperhe menettää viimeisten 30 päivän aikana, sekä luku, josta osuudet lasketaan.
Nämä osuudet lasketaan kutsulokista, jota on pidetty 14. syyskuuta 2026 lähtien. Muualla sivustolla näytetyt juoksevat kokonaismäärät laskevat jokaisen kysymyksen siitä lähtien, kun sivusto avattiin 11. syyskuuta 2026, joten nämä kaksi lukujoukkoa kattavat eri jaksot eikä niiden ole tarkoitus täsmätä keskenään.
Laskettu ja väliseltä ajalta: 2 459 generointikutsua, jotka palauttivat 6 183 kysymystä. Malliperhe julkaistaan, kun se on palauttanut jaksolla 200 kysymystä; sitä ennen sivu kertoo sen sen sijaan, että näyttäisi kourallisesta kutsuja lasketun osuuden.
| Malliperhe | Kirjoitetut kysymykset | Lainausta ei löytynyt mainitulta sivulta | Toinen malli oli eri mieltä | Kaksoiskappale | Virhe | Ei pyydetty tai liian myöhään | Hyväksytyt |
|---|---|---|---|---|---|---|---|
| qwen | 4,583 | 6.2% | 6.1% | 14.0% | 28.9% | 2.1% | 42.7% |
| deepseek | 503 | 14.3% | 3.0% | 2.4% | 11.5% | 2.0% | 66.8% |
| glm | 410 | 2.0% | 7.3% | 5.6% | 51.5% | 2.2% | 31.5% |
| nemotron | 393 | 3.1% | 0.5% | 2.5% | 53.9% | 1.3% | 38.7% |
| gpt-oss | 281 | 7.8% | 1.4% | 1.8% | 38.4% | 1.8% | 48.8% |
| openrouter-primary | 13 | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa |
| gemma | 0 | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa |
Kaistoittain
Ilmainen kaista ajaa ensin DeepSeek V4 Flashia Cloudflare Workers AI:ssa, ja muut avoimien painojen mallit ovat varalla. Maksullinen kaista ajaa ensisijaisia malleja: DeepSeek V4 Pro kirjoittaa ja Kimi K2,6 vastaa sokkona. Molemmat kaistat käyvät läpi samat tarkistukset ja molemmat lasketaan tähän, ja siksi tämä sivu käsittelee malliperheitä eikä kaistoja.
| Kaista | Kirjoitetut kysymykset | Lainausta ei löytynyt mainitulta sivulta | Toinen malli oli eri mieltä | Kaksoiskappale | Virhe | Ei pyydetty tai liian myöhään | Hyväksytyt |
|---|---|---|---|---|---|---|---|
| ilmainen | 6,140 | 6.5% | 5.3% | 11.2% | 31.1% | 2.0% | 43.9% |
| maksullinen | 43 | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa | liian vähän tietoa |
Mitä kukin sarake tarkoittaa
- Kirjoitetut kysymykset: kysymykset, jotka malli palautti jäsennettävässä vastauksessa. Vastaukset, joita ei voitu lukea JSON-muodossa, lasketaan CSV-tiedostossa erikseen, kutsua kohden, koska ne eivät palauttaneet yhtään kysymystä laskettavaksi.
- Lainausta ei löytynyt mainitulta sivulta: sanatarkkaa lainausta ei ollut mallin nimeämän sivun tallennetussa tekstissä, tai se viittasi sivuun sille annetun osion ulkopuolella. CSV erittelee nämä kaksi.
- Toinen malli oli eri mieltä: toisesta malliperheestä oleva malli, jolle näytettiin kysymys ja sen lainaukset mutta ei koskaan vastausavainta, valitsi toisen vastauksen.
- Kaksoiskappale: kysymys toisti jo samasta asiakirjasta hyväksyttyä kysymystä.
- Muotovirhe: rakenne- tai laatusääntö hylkäsi sen, esimerkiksi vaihtoehtojoukko, joka paljastaa vastauksen, tai kysymyksenasettelu, jolla ei ole yhtä parasta vastausta. Nuo säännöt ovat samat, jotka MCQ-virhetarkistin ajaa selaimessasi.
- Ei pyydetty tai liian myöhään: kysymys oli kelvollinen mutta ei silti päätynyt opiskelijalle. Joko se oli tyyppi, jota työ ei pyytänyt (lyhyen vastauksen kysymys monivalintatyössä), tai työ täyttyi muista kutsuista sillä aikaa, kun tätä kirjoitettiin. Molemmat lasketaan, jotta rivi täsmää; kumpikaan ei ole moite mallille.
- Hyväksytty: se, mikä selvisi kaikesta ja päätyi opiskelijalle.
Menetelmä
Jokainen tämän sivun luku tulee sivuston oikeista töistä. Yksi rivi kirjoitetaan palveluntarjoajan kutsua kohden sillä hetkellä, kun kutsun lopputulos tiedetään, ja se sisältää lukumääriä eikä mitään muuta: ei kysymystekstiä, ei asiakirjatekstiä eikä käyttäjää. Luvut kohdistetaan sille mallille, joka todella vastasi, mikä ei aina ole se malli, jota työ pyysi, koska malliryhmä siirtyy toiseen malliin, kun yhtä rajoitetaan tai se on hidas. Varamallin tulosten kohdistaminen mallille, joka ei ajanut, julkaisisi luvun väärästä mallista.
Aikaväli on viimeiset 30 päivää, laskettu uudelleen enintään kahdesti tunnissa, ja se on yksi kolmesta kiinteästä aikavälistä. Osuudet lasketaan niistä kysymyksistä, jotka perhe palautti, ja jokainen kutsun palauttama kysymys on täsmälleen yhdessä näistä sarakkeista, joten yhdessä hyväksyttyjen osuuden kanssa ne muodostavat kokonaisuuden. Kutsu, joka palasi jo valmiiseen työhön, ei kirjoita riviä lainkaan: sen kysymyksiä ei koskaan katsottu, eikä myöhään vastannut malli ole huonosti vastannut malli. Perhe, jolta on alle 200 palautettua kysymystä, merkitään riittämättömäksi aineistoksi, koska tuossa koossa yksi huono osio siirtää osuutta useita prosenttiyksikköjä.
Lataa samat luvut CSV-muodossa tai lue ne JSON-muodossa. Luvut julkaistaan Creative Commons Attribution 4,0 -lisenssillä: käytä niitä, lainaa niitä ja mainitse MedUni Exam lähteeksi.
Päivitetty 24. syyskuuta 2026.
Luo kysymykset omasta luvustasi
Kokeiluun ei tarvita tiliä. Rekisteröityminen säilyttää kirjastosi, arvosanasi ja kertausjonosi kaikilla laitteilla.
Julkaistu , päivitetty .