Miery zamietnutia podľa rodiny modelov
Každá otázka napísaná pre túto stránku prechádza rovnakými kontrolami, nech ju napísal ktorýkoľvek model. Toto je počet tých, ktoré každá rodina modelov stratí, za posledných 30 dní, spolu s číslom, z ktorého sa miery počítajú.
Tieto miery sa počítajú zo záznamu volaní, ktorý sa vedie od 14. septembra 2026. Priebežné súhrny uvedené inde na stránke počítajú každú otázku od otvorenia stránky 11. septembra 2026, takže obe sady čísel pokrývajú rôzne obdobia a nemajú si navzájom sedieť.
Počítané od do : 2 459 volaní generovania, ktoré vrátili 6 183 otázok. Rodina modelov sa zverejní, keď za obdobie vráti 200 otázok; pod touto hranicou to stránka povie, namiesto toho, aby tlačila mieru z hŕstky volaní.
| Rodina modelov | Napísané otázky | Citácia nebola na uvedenej strane | Druhý model nesúhlasil | Duplikát | Chyba | Nevyžiadané alebo neskoro | Prijaté |
|---|---|---|---|---|---|---|---|
| qwen | 4,583 | 6.2% | 6.1% | 14.0% | 28.9% | 2.1% | 42.7% |
| deepseek | 503 | 14.3% | 3.0% | 2.4% | 11.5% | 2.0% | 66.8% |
| glm | 410 | 2.0% | 7.3% | 5.6% | 51.5% | 2.2% | 31.5% |
| nemotron | 393 | 3.1% | 0.5% | 2.5% | 53.9% | 1.3% | 38.7% |
| gpt-oss | 281 | 7.8% | 1.4% | 1.8% | 38.4% | 1.8% | 48.8% |
| openrouter-primary | 13 | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov |
| gemma | 0 | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov |
Podľa režimu
Bezplatný režim spúšťa najprv DeepSeek V4 Flash na Cloudflare Workers AI a ako záloha slúžia ďalšie modely s otvorenými váhami. Platený režim používa prioritné modely: DeepSeek V4 Pro píše a Kimi K2,6 odpovedá naslepo. Oba režimy prechádzajú rovnakými kontrolami a oba sa tu počítajú, a preto je táto stránka o rodinách modelov, a nie o režimoch.
| Režim | Napísané otázky | Citácia nebola na uvedenej strane | Druhý model nesúhlasil | Duplikát | Chyba | Nevyžiadané alebo neskoro | Prijaté |
|---|---|---|---|---|---|---|---|
| bezplatný | 6,140 | 6.5% | 5.3% | 11.2% | 31.1% | 2.0% | 43.9% |
| platený | 43 | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov | málo údajov |
Čo znamená každý stĺpec
- Napísané otázky: otázky, ktoré model vrátil v čitateľnej odpovedi. Odpovede, ktoré sa nedali prečítať ako JSON, sa v CSV počítajú osobitne, na volanie, pretože nevrátili žiadne otázky na započítanie.
- Citácia sa na uvedenej strane nenašla: doslovná citácia nebola v uloženom texte strany, ktorú model uviedol, alebo model uviedol stranu mimo úseku, ktorý dostal. CSV tieto dva prípady rozlišuje.
- Druhý model nesúhlasil: model z inej rodiny, ktorému bola ukázaná otázka a jej citácie, no nikdy nie kľúč, vybral inú odpoveď.
- Duplicita: otázka zopakovala inú, ktorá už bola z toho istého dokumentu prijatá.
- Chyba stavby: odmietlo ju štruktúrne alebo kvalitatívne pravidlo, napríklad sada možností s prezradením alebo zadanie bez jedinej najlepšej odpovede. Sú to tie isté pravidlá, ktoré vo vašom prehliadači spúšťa kontrola chýb v MCQ.
- Nevyžiadané alebo neskoro: otázka bola v poriadku, no k študentovi sa aj tak nedostala. Buď bola typu, ktorý úloha nepožadovala (položka s krátkou odpoveďou v úlohe s výberom z možností), alebo sa úloha medzitým zaplnila z iných volaní, kým sa táto písala. Obe sa počítajú, aby riadok sedel; ani jedno nie je výčitka voči modelu.
- Prijaté: čo prežilo všetko a dostalo sa k študentovi.
Metóda
Každé číslo tu pochádza z produkčných úloh na tejto stránke. Na každé volanie poskytovateľa sa zapíše jeden riadok, v okamihu, keď je výsledok volania známy, a obsahuje počty a nič iné: žiadny text otázky, žiadny text dokumentu a žiadneho používateľa. Počty sa pripisujú modelu, ktorý skutočne odpovedal, čo nie je vždy model, o ktorý úloha žiadala, pretože zostava modelov siahne po inom modeli, keď je jeden obmedzený počtom požiadaviek alebo pomalý. Pripísať náhradné volanie modelu, ktorý nebežal, by znamenalo zverejniť číslo o nesprávnom modeli.
Okno tvorí posledných 30 dní, prepočítava sa najviac dvakrát za hodinu a je jedným z troch pevných okien. Miery sú podiely z otázok, ktoré rodina vrátila, a každá otázka, ktorú volanie vrátilo, je práve v jednom z týchto stĺpcov, takže spolu s podielom prijatých dávajú celok. Volanie, ktoré sa vrátilo k úlohe, ktorá už skončila, nezapíše žiadny riadok: jeho otázky sa nikdy neposudzovali a model, ktorý odpovedal neskoro, nie je model, ktorý odpovedal zle. Rodina pod 200 vrátenými otázkami je uvedená ako nedostatok údajov, pretože pri takej veľkosti posunie jeden zlý úsek mieru o niekoľko bodov.
Stiahnite si tie isté čísla ako CSV, alebo si ich prečítajte ako JSON. Čísla sú zverejnené pod licenciou Creative Commons Attribution 4,0: použite ich, citujte ich a ako zdroj uveďte MedUni Exam.
Aktualizované 24. septembra 2026.
Na vyskúšanie nie je potrebný účet. Registrácia uchová vašu knižnicu, známky a front opakovania na všetkých zariadeniach.
Zverejnené , aktualizované .