Stopnje zavrnitve po družinah modelov
Vsako vprašanje, napisano za to stran, gre skozi enaka preverjanja, ne glede na to, kateri model ga je napisal. Toliko jih vsaka družina modelov izgubi v zadnjih 30 dneh, skupaj s številom, iz katerega so stopnje izračunane.
Te stopnje so štete iz dnevnika klicev, ki se vodi od 14. septembra 2026. Tekoči seštevki, natisnjeni drugod na strani, štejejo vsa vprašanja od odprtja strani 11. septembra 2026, zato obe množici številk pokrivata različni obdobji in se ne seštevata druga v drugo.
Prešteto od do : 2.459 klicev ustvarjanja, ki so vrnili 6.183 vprašanj. Družina modelov se objavi, ko v obdobju vrne 200 vprašanj; pod to mejo stran to pove, namesto da bi natisnila delež iz peščice klicev.
| Družina modelov | Napisana vprašanja | Citata ni bilo na navedeni strani | Drugi model se ni strinjal | Dvojnik | Napaka | Ni bilo naročeno ali prepozno | Sprejeto |
|---|---|---|---|---|---|---|---|
| qwen | 4,583 | 6.2% | 6.1% | 14.0% | 28.9% | 2.1% | 42.7% |
| deepseek | 503 | 14.3% | 3.0% | 2.4% | 11.5% | 2.0% | 66.8% |
| glm | 410 | 2.0% | 7.3% | 5.6% | 51.5% | 2.2% | 31.5% |
| nemotron | 393 | 3.1% | 0.5% | 2.5% | 53.9% | 1.3% | 38.7% |
| gpt-oss | 281 | 7.8% | 1.4% | 1.8% | 38.4% | 1.8% | 48.8% |
| openrouter-primary | 13 | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov |
| gemma | 0 | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov |
Po poti
Brezplačna pot najprej zažene DeepSeek V4 Flash na Cloudflare Workers AI, drugi modeli z odprtimi utežmi pa so rezerva. Plačljiva pot uporablja prednostne modele: DeepSeek V4 Pro piše, Kimi K2,6 pa odgovarja na slepo. Obe poti gresta skozi enaka preverjanja in obe sta šteti tukaj, zato ta stran govori o družinah modelov in ne o poteh.
| Pas | Napisana vprašanja | Citata ni bilo na navedeni strani | Drugi model se ni strinjal | Dvojnik | Napaka | Ni bilo naročeno ali prepozno | Sprejeto |
|---|---|---|---|---|---|---|---|
| brezplačna | 6,140 | 6.5% | 5.3% | 11.2% | 31.1% | 2.0% | 43.9% |
| plačljiva | 43 | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov | premalo podatkov |
Kaj pomeni posamezen stolpec
- Napisana vprašanja: vprašanja, ki jih je model vrnil v odgovoru, ki ga je bilo mogoče razčleniti. Odgovori, ki jih ni bilo mogoče prebrati kot JSON, so v CSV šteti posebej, po klicih, ker niso vrnili nobenega vprašanja za štetje.
- Citata ni na navedeni strani: dobesednega citata ni bilo v shranjenem besedilu strani, ki jo je model navedel, ali pa je navedel stran zunaj odseka, ki mu je bil dan. CSV to dvoje loči.
- Drugi model se ni strinjal: model iz druge družine, ki mu je bilo pokazano vprašanje z njegovimi citati, nikoli pa ključ z odgovorom, je izbral drug odgovor.
- Dvojnik: vprašanje je ponovilo že sprejeto vprašanje iz istega dokumenta.
- Napaka v sestavi: zavrnilo ga je strukturno ali kakovostno pravilo, na primer nabor možnosti z izdajalskim namigom ali uvod brez enega samega najboljšega odgovora. Ta pravila so tista, ki jih preverjevalnik napak v vprašanjih izvaja v vašem brskalniku.
- Ni bilo zahtevano ali prepozno: vprašanje je bilo brezhibno, a vseeno ni prišlo do študenta. Bodisi je bilo vrste, ki je opravilo ni zahtevalo (vprašanje s kratkim odgovorom v opravilu z vprašanji izbirnega tipa), bodisi se je opravilo medtem, ko je to vprašanje nastajalo, napolnilo iz drugih klicev. Oboje je šteto, da se vrstica sešteje; nobeno ni očitek modelu.
- Sprejeto: kar je preživelo vse skupaj in prišlo do študenta.
Metoda
Vsaka številka tukaj izhaja iz produkcijskih opravil na tej strani. Za vsak klic ponudnika se zapiše ena vrstica, v trenutku, ko je izid klica znan, ki vsebuje števce in nič drugega: nobenega besedila vprašanja, nobenega besedila dokumenta in nobenega uporabnika. Števci so pripisani modelu, ki je dejansko odgovoril, kar ni vedno model, ki ga je opravilo zahtevalo, saj nabor preide na drug model, kadar je eden omejen po številu zahtev ali počasen. Pripis nadomestnega klica modelu, ki ni tekel, bi objavil številko o napačnem modelu.
Okno je zadnjih 30 dni, prešteto največ dvakrat na uro, in je eno od treh fiksnih oken. Stopnje so deleži vprašanj, ki jih je družina vrnila, in vsako vprašanje, ki ga je klic vrnil, je v natanko enem od teh stolpcev, zato se skupaj z deležem sprejetih seštejejo v celoto. Klic, ki se je vrnil k opravilu, ki je bilo že končano, ne zapiše nobene vrstice: njegovih vprašanj ni nihče pogledal, model, ki je odgovoril pozno, pa ni model, ki je odgovoril slabo. Družina z manj kot 200 vrnjenimi vprašanji je navedena kot premalo podatkov, ker pri takem obsegu en slab odsek premakne stopnjo za nekaj odstotnih točk.
Prenesite iste številke kot CSV ali jih preberite kot JSON. Številke so objavljene pod licenco Creative Commons Attribution 4,0: uporabljajte jih, navajajte jih in kot vir navedite MedUni Exam.
Posodobljeno 24. septembra 2026.
Za preizkus račun ni potreben. Registracija ohrani vašo knjižnico, ocene in vrsto za ponavljanje na vseh napravah.
Objavljeno , posodobljeno .