Míry zamítnutí podle rodiny modelů
Každá otázka napsaná pro tento web prochází stejnými kontrolami, ať ji napsal kterýkoli model. Takto jich každá rodina modelů ztrácí za posledních 30 dní, s číslem, ze kterého se míry počítají.
Tyto míry se počítají z logu volání, který se vede od 14. září 2026. Průběžné součty tištěné jinde na webu počítají každou otázku od spuštění webu 11. září 2026, takže obě sady čísel pokrývají různá období a nemají spolu souhlasit.
Počítáno od do : 2 459 volání generování, která vrátila 6 183 otázek. Rodina modelů se zveřejní, jakmile za dané období vrátí 200 otázek; pod touto hranicí to stránka řekne, místo aby tiskla míru z hrstky volání.
| Rodina modelů | Napsané otázky | Citace nebyla na uvedené straně | Druhý model nesouhlasil | Duplikát | Vada | Nevyžádáno nebo pozdě | Přijato |
|---|---|---|---|---|---|---|---|
| qwen | 4,583 | 6.2% | 6.1% | 14.0% | 28.9% | 2.1% | 42.7% |
| deepseek | 503 | 14.3% | 3.0% | 2.4% | 11.5% | 2.0% | 66.8% |
| glm | 410 | 2.0% | 7.3% | 5.6% | 51.5% | 2.2% | 31.5% |
| nemotron | 393 | 3.1% | 0.5% | 2.5% | 53.9% | 1.3% | 38.7% |
| gpt-oss | 281 | 7.8% | 1.4% | 1.8% | 38.4% | 1.8% | 48.8% |
| openrouter-primary | 13 | málo dat | málo dat | málo dat | málo dat | málo dat | málo dat |
| gemma | 0 | málo dat | málo dat | málo dat | málo dat | málo dat | málo dat |
Podle režimu
Bezplatný režim spouští nejprve DeepSeek V4 Flash na Cloudflare Workers AI a jako záloha slouží další modely s otevřenými vahami. Placený režim používá prioritní modely: DeepSeek V4 Pro píše a Kimi K2,6 odpovídá naslepo. Oba režimy procházejí stejnými kontrolami a oba se tu počítají, a proto je tato stránka o rodinách modelů, a ne o režimech.
| Režim | Napsané otázky | Citace nebyla na uvedené straně | Druhý model nesouhlasil | Duplikát | Vada | Nevyžádáno nebo pozdě | Přijato |
|---|---|---|---|---|---|---|---|
| bezplatný | 6,140 | 6.5% | 5.3% | 11.2% | 31.1% | 2.0% | 43.9% |
| placený | 43 | málo dat | málo dat | málo dat | málo dat | málo dat | málo dat |
Co znamená který sloupec
- Napsané otázky: otázky, které model vrátil v čitelné odpovědi. Odpovědi, které nešlo přečíst jako JSON, se v CSV počítají zvlášť, po voláních, protože nevrátily žádné otázky k započítání.
- Citace nenalezena na uvedené straně: doslovná citace nebyla v uloženém textu strany, kterou model uvedl, nebo citoval stranu mimo úsek, který dostal. CSV tyto dva případy rozděluje.
- Druhý model nesouhlasil: model z jiné rodiny, kterému byla ukázána otázka a její citace, ale nikdy ne klíč, vybral jinou odpověď.
- Duplikát: otázka opakovala jinou, už přijatou ze stejného dokumentu.
- Vada: zamítlo ji strukturální nebo kvalitativní pravidlo, například sada možností s prozrazením nebo zadání bez jediné nejlepší odpovědi. Právě tato pravidla spouští kontrola vad otázek ve vašem prohlížeči.
- Nevyžádáno nebo pozdě: otázka byla v pořádku, ale ke studentovi se stejně nedostala. Buď byla typu, o který úloha nežádala (otázka s krátkou odpovědí v úloze s výběrem z možností), nebo se úloha mezitím naplnila z jiných volání, zatímco tato otázka vznikala. Obojí se počítá, aby řádek souhlasil; ani jedno není minus pro model.
- Přijato: to, co přežilo všechno a dostalo se ke studentovi.
Metodika
Každé číslo tady pochází z produkčních úloh na tomto webu. Na každé volání poskytovatele se zapíše jeden řádek, ve chvíli, kdy je znám výsledek volání, a obsahuje jen počty a nic jiného: žádný text otázky, žádný text dokumentu a žádného uživatele. Počty se připisují modelu, který skutečně odpověděl, což není vždy model, o který úloha žádala, protože sada přepne na jiný model, když je jeden omezený nebo pomalý. Připsat přepnutí modelu, který neběžel, by znamenalo zveřejnit číslo o špatném modelu.
Okno je posledních 30 dní, přepočítává se nejvýš dvakrát za hodinu a je jedním ze tří pevných oken. Míry jsou podíly z otázek, které rodina vrátila, a každá otázka, kterou volání vrátilo, je přesně v jednom z těchto sloupců, takže spolu s podílem přijatých dávají celek. Volání, které se vrátilo k úloze, jež už skončila, nezapíše žádný řádek: na jeho otázky se nikdo nepodíval a model, který odpověděl pozdě, není model, který odpověděl špatně. Rodina s méně než 200 vrácenými otázkami je vedena jako nedostatek dat, protože při takové velikosti jeden špatný úsek posune míru o několik bodů.
Stáhněte si stejná čísla jako CSV, nebo si je přečtěte jako JSON. Čísla jsou zveřejněna pod licencí Creative Commons Attribution 4,0: použijte je, citujte je a uveďte MedUni Exam jako zdroj.
Aktualizováno 24. září 2026.
K vyzkoušení není potřeba účet. Registrace uchová vaši knihovnu, známky a frontu opakování na všech zařízeních.
Publikováno , aktualizováno .