Πόσο ακριβείς είναι οι ερωτήσεις εξετάσεων που γράφει η AI; Τι δείχνουν οι πραγματικές εργασίες
Every question this site writes is checked before a student sees it, and the checks keep a count. This is what the 10 days since of real jobs on medical textbooks, lecture decks and notes show: how many questions a model writes that cannot be traced to the page, that a second model answers differently, or that repeat one already written.
Οι αριθμοί, μετρημένοι από το αρχείο κλήσεων
| What the checks counted | Share of questions written |
|---|---|
| Questions the models wrote | 6,183 in 2,459 calls |
| Kept, every check passed | 44.0% |
| Thrown out, all reasons | 56.0% |
| Το απόσπασμα δεν βρέθηκε στη σελίδα που αναφέρεται | 6.5% |
| Second model answered differently | 5.4% |
| Repeat of a question already written | 11.2% |
| Structural flaw (all of the above, a vague stem, an option that gives itself away) | 30.9% |
Counted from the call log over September 14, 2026 to September 24, 2026, refreshed twice an hour. The same report, split by model family and with a CSV, is on the rejection rates page.
Τι σημαίνει κάθε απόρριψη
Το απόσπασμα δεν βρέθηκε στη σελίδα που δηλώνεται. Κάθε ερώτηση πρέπει να φέρει μία ή δύο προτάσεις αντιγραμμένες από το έγγραφο, με τη σελίδα στην οποία βρίσκονται. Ο διακομιστής αναζητά την πρόταση στο αποθηκευμένο κείμενο εκείνης της σελίδας. Αν δεν υπάρχει εκεί, το μοντέλο έγραψε ερώτηση για κάτι που το υλικό δεν λέει, ή θυμήθηκε λάθος τη διατύπωση, και η ερώτηση απορρίπτεται. Αυτός είναι ο έλεγχος που πιάνει ένα επινοημένο στοιχείο.
Το δεύτερο μοντέλο απάντησε διαφορετικά. Σε ένα μοντέλο από διαφορετική οικογένεια δίνονται η ερώτηση και τα αποσπάσματα, και τίποτε άλλο: καμία σωστή απάντηση, κανένα έγγραφο. Αν δεν μπορεί να φτάσει στη δηλωμένη απάντηση μόνο από τα αποσπάσματα, τα αποσπάσματα δεν αποδεικνύουν την απάντηση, και η ερώτηση απορρίπτεται. Αυτός είναι ο έλεγχος που πιάνει μια ερώτηση που ακούγεται σωστή αλλά έχει λάθος απάντηση, ή μια απάντηση που το απόσπασμα δεν στηρίζει.
Επανάληψη ερώτησης που έχει ήδη γραφτεί. Κάθε νέα ερώτηση συγκρίνεται με όλες όσες έχουν ήδη παραχθεί από το έγγραφο. Μια σχεδόν ίδια ερώτηση απορρίπτεται, ώστε μια μεγάλη σειρά να δίνει διαφορετικές ερωτήσεις αντί για τα ίδια στοιχεία ξαναδιατυπωμένα.
Δομική αδυναμία. «Όλα τα παραπάνω», «κανένα από τα παραπάνω», μια εκφώνηση που ρωτά ποια πρόταση είναι σωστή, μια επιλογή εμφανώς μεγαλύτερη από τις άλλες, μια ερώτηση που αναφέρεται στο «κείμενο». Αυτές είναι οι ενδείξεις που οι εξεταστές εκπαιδεύονται να αφαιρούν, και εδώ αφαιρούνται βάσει κανόνα πριν τρέξουν οι άλλοι έλεγχοι. Ο έλεγχος αδυναμιών ερωτήσεων πολλαπλής επιλογής τρέχει τους ίδιους κανόνες σε όποια ερώτηση επικολλήσεις.
Γιατί μια γεννήτρια που δεν δείχνει απόσπασμα δεν μπορεί να σου πει την ακρίβειά της
Ένα εργαλείο που σου δίνει κουίζ χωρίς την πρόταση από την οποία προήλθε κάθε ερώτηση δεν έχει τρόπο να μετρήσει πόσες από τις ερωτήσεις του ήταν αστήρικτες, γιατί τίποτα στη διαδικασία του δεν κοίταξε. Η ακρίβειά του είναι ό,τι βρεις όταν ελέγξεις μόνος σου τις ερωτήσεις, δηλαδή ακριβώς η δουλειά που ήθελες να αναθέσεις. Η σελίδα βοήθειας ενός ανταγωνιστικού εργαλείου ζητά από τους χρήστες του να ελέγχουν ένα κουίζ πριν το εμπιστευτούν, που είναι το ειλικρινές πράγμα να πεις όταν δεν ελέγχθηκε τίποτα. Οι αριθμοί παραπάνω υπάρχουν επειδή ο έλεγχος γίνεται πριν δει ο φοιτητής οτιδήποτε, και επειδή ό,τι απορρίφθηκε μετρήθηκε αντί να πεταχτεί στα κρυφά.
Πώς να ελέγξεις μόνος σου μια ερώτηση AI σε είκοσι δευτερόλεπτα
- Βρες την πρόταση. Αν η ερώτηση δεν δείχνει από πού προήλθε, ψάξε στο έγγραφο τη βασική της φράση. Αν η φράση δεν υπάρχει εκεί, η ερώτηση δεν προέρχεται από το υλικό σου.
- Κάλυψε τη σωστή απάντηση και απάντησε από το απόσπασμα. Διάβασε μόνο την πρόταση του αποσπάσματος και διάλεξε μια επιλογή. Αν το απόσπασμα δεν το λύνει, η ερώτηση εξετάζει κάτι που το απόσπασμα δεν λέει.
- Κοίτα τις επιλογές. Μια επιλογή πολύ μεγαλύτερη από τις άλλες, μια επιλογή που επαναλαμβάνει την εκφώνηση, το «όλα τα παραπάνω»: καθένα είναι ένδειξη, και λόγος να μην εμπιστευτείς την ερώτηση, όχι να μάθεις από αυτήν.
Τι σημαίνει για την προετοιμασία των εξετάσεων
Ένα σύνολο ερωτήσεων που πέρασε αυτούς τους ελέγχους είναι ένα σύνολο στο οποίο μπορείς να εξασκηθείς χωρίς να ξαναδιαβάσεις το κεφάλαιο για να βεβαιωθείς ότι καθεμία στέκει. Το ποσοστό που απορρίφθηκε δεν είναι χαμένος κόπος· είναι το κομμάτι κάθε τράπεζας ερωτήσεων φτιαγμένης από AI που ένας φοιτητής με ένα μη ελεγμένο εργαλείο θα είχε διαβάσει. Το δωρεάν πλάνο αυτού του ιστότοπου τρέχει τους ίδιους ελέγχους σε κάθε ερώτηση που γράφει, και η σελίδα με τα δείγματα δείχνει τρεις που πέρασαν, με τη σελίδα που παραθέτει καθεμία.
Ερωτήσεις που κάνουν οι φοιτητές
Ένα υψηλό ποσοστό απόρριψης σημαίνει κακό μοντέλο;
Όχι από μόνο του. Ένα μοντέλο που γράφει φιλόδοξα κλινικά σενάρια χάνει περισσότερα από αυτά στο δεύτερο μοντέλο απ’ ό,τι ένα που γράφει ερωτήσεις ανάκλησης, και μια μεγάλη σειρά από ένα σύντομο κεφάλαιο χάνει ερωτήσεις στον έλεγχο διπλότυπων, επειδή το κεφάλαιο έχει περιορισμένα στοιχεία. Το ποσοστό είναι ιδιότητα του μοντέλου, του υλικού και της εργασίας μαζί, γι’ αυτό και η αναφορά δημοσιεύεται με τον αριθμό από τον οποίο μετρήθηκε.
Οι ερωτήσεις που περνούν είναι εγγυημένα σωστές;
Όχι. Οι έλεγχοι πιάνουν μια ερώτηση της οποίας το απόσπασμα δεν βρίσκεται στη σελίδα που δηλώνει, μια που ένα δεύτερο μοντέλο απαντά διαφορετικά από τη δηλωμένη απάντηση, μια που επαναλαμβάνει προηγούμενη, και μια σειρά δομικών αδυναμιών. Δεν μπορούν να κρίνουν την ιατρική. Γι’ αυτό κάθε ερώτηση που κρατιέται εμφανίζεται με το απόσπασμα και τον αριθμό σελίδας της, ώστε ο φοιτητής να μπορεί να διαβάσει τη γραμμή από την οποία προήλθε η ερώτηση.
Γιατί μια επαναλαμβανόμενη ερώτηση μετράει ως απόρριψη;
Επειδή μια γεννήτρια στην οποία ζητάς σαράντα ερωτήσεις από ένα φυλλάδιο δώδεκα σελίδων θα ξαναδιατυπώσει τα ίδια δώδεκα στοιχεία με άλλα λόγια, αν δεν τη σταματήσει κάτι. Κάθε νέα ερώτηση συγκρίνεται με όλες όσες έχουν ήδη γραφτεί από το έγγραφο, και μια σχεδόν ίδια απορρίπτεται αντί να δοθεί στον φοιτητή ως νέα εξάσκηση.
Πού είναι τα ακατέργαστα δεδομένα;
Η σελίδα με τα ποσοστά απόρριψης δημοσιεύει την αναφορά ανά οικογένεια μοντέλων και ανά γραμμή, με λήψη σε CSV, και οι αριθμοί σε αυτή τη σελίδα διαβάζονται από την ίδια αναφορά. Το αρχείο κλήσεων τηρείται από τις 14 Σεπτεμβρίου 2026.
Δεν χρειάζεται λογαριασμός για να το δοκιμάσεις. Η εγγραφή κρατά τη βιβλιοθήκη, τους βαθμούς και την ουρά επανάληψής σου σε όλες τις συσκευές.
Δημοσιεύτηκε , ενημερώθηκε .