MCQ欠陥チェッカー
多肢選択の問題を1つ貼り付けると、機械的なルールのどれがそれを捨てるかがわかります。ルールは生成側のものと同じで、チェックはブラウザ内で走ります。問題がどこかに送られることはありません。
実行されるルール
「却下」は、ルールに触れた問題を生成側が捨てるという意味です。「警告」は、プロンプトがそれを禁じていて読み手が見直すべきだが、それだけで却下するゲートはないという意味です。
| ルール | 重大度 | 発動する条件 |
|---|---|---|
| 正解の選択肢が目立って長い | 却下 | 正解が、最も長い誤答より60パーセント以上長いか、誤答の平均の2倍を超えています。 |
| 重複する、または重なり合う選択肢 | 却下。重なりがある場合は警告 | 2つの選択肢が同じ文言か、特徴的な語をほとんど共有しています。 |
| 上記のすべて、上記のいずれでもない、AとBの両方 | 却下 | 設問に答える代わりに、他の選択肢を参照している選択肢。 |
| 1つの選択肢に絶対表現がある | 警告 | always、never、only、all、none のいずれかが1つの選択肢にだけ現れている。 |
| 強調のない否定形の設問文 | 警告 | 設問文が not、except、least likely、incorrect を小文字で使って成り立っている。 |
| 設問文が質問になっていない | 却下 | 「次のうち正しいものはどれか」「正しい記述はどれか」、または何も尋ねていない設問文。 |
| 設問文が出典を参照している | 却下 | the text、the passage、according to the author、12ページに、あるいは substance X のようなプレースホルダー。 |
| 選択肢が4つ未満、または5つ超 | 4つ未満は却下、5つ超は警告 | 形式は選択肢4つか5つです。4つ未満はそのまま却下されます。 |
| 解答キーがない、または範囲外 | 却下 | 解答キーが示されていないか、選択肢にない記号を指しています。 |
| 文法上の手がかり | 警告 | 設問文がanで終わり、母音で始まる選択肢がちょうど1つある。 |
| 1つの選択肢が設問文を繰り返している | 警告 | 1つの選択肢だけが設問文の語をそのまま繰り返している。 |
| 解説に選択肢の記号だけが書かれている | 警告 | 内容で選択肢を示して記号を括弧に入れるのではなく、「Aが正解」と書いている。 |
できないこと
これらは、引用の照合と2つ目のモデルの確認より前に生成側が行う機械的なチェックです。医学的に正しいかどうかは判断できません。ここのルールをすべて通っても、医学的に誤っていたり、慎重な学生なら異議を唱える解答キーだったりすることがあります。このサイトでは、それを捉えるのが次の2つの段階です。問題が示す引用を、そのページの保存済みテキストの中で探し、別系統の2つ目のモデルが解答キーなしで引用だけから答えます。
全体の流れは問題が検証される仕組みを、これらのルールが実際に何を捨てているかは各モデル系統がどれだけ引っかかるかをご覧ください。
よくある質問
問題はブラウザの外に出ますか。
いいえ。チェッカーはこのページ上のスクリプトです。何もアップロードされず、何も保存されず、読み込みのあとはネットワークを切っても同じように動きます。
これは生成側が使うルールと同じですか。
却下するルールは同じコードです。ページのスクリプトはsrc/lib/mcq_rules.jsから作られていて、生成側も同じものを読み込むため、片方だけでルールが変わることはありません。警告は、プロンプトが定めていて読み手が判断するルールです。
問題が通りました。良い問題ということですか。
機械的な欠陥はありません。医学的に正しいか、解答キーが妥当か、それぞれの誤答が紛らわしいかは、これらのルールでは見えません。それを見るのが引用の照合と2つ目のモデルです。
問題はどのように貼り付ければよいですか。
最初の数行に設問文、続けて1行に1つずつ記号から始まる選択肢、最後に解答キーを書きます。解答キーは、その選択肢の行にアスタリスクをつけるか、Answer: C と書いた行で示します。Explanation: の行は任意で、選択肢の記号だけのルールでのみ読まれます。
試すだけならアカウントは要りません。登録すると、ライブラリ、成績、復習キューがどの端末でも残ります。
公開日 , 更新 .