PISA 2025: Είναι έγκυρη η PISA; Τι πραγματικά μετρά και πώς ερμηνεύονται τα αποτελέσματά της
Ανάλυση: Δημήτρης Αναστασίου
Με αφορμή τα αποτελέσματα της PISA 2025, ο Δημήτρης Αναστασίου, ανοίγει μια σημαντική μεθοδολογική συζήτηση για το τι πραγματικά μετρά η διεθνής αξιολόγηση του ΟΟΣΑ, πόσο αξιόπιστα είναι τα αποτελέσματά της και, κυρίως, μέχρι πού μπορούμε να φτάσουμε όταν επιχειρούμε να τα ερμηνεύσουμε. Το βασικό ζήτημα είναι να διαχωρίσουμε την αξιοπιστία της μέτρησης από την εγκυρότητα των ερμηνειών, την αιτιώδη εξήγηση των διαφορών και την πολιτική αξιοποίηση των αποτελεσμάτων. Όταν ο εκπαιδευτικός γίνεται «υπάλληλος» και ο γονέας «πελάτης» – Τι συμβαίνει στο σχολείο
Τι ακριβώς είναι η PISA;
Η PISA είναι μια διεθνής δειγματοληπτική αξιολόγηση 15χρονων μαθητών που οργανώνεται από τον ΟΟΣΑ.
Δεν εξετάζει αν ένας μαθητής έχει μάθει το ελληνικό, το γαλλικό ή κάποιο άλλο εθνικό αναλυτικό πρόγραμμα. Επιχειρεί να εξετάσει κατά πόσο μπορεί να χρησιμοποιήσει γνώσεις και δεξιότητες στην ανάγνωση, στα μαθηματικά και στις φυσικές επιστήμες, ώστε να αντιμετωπίσει προβλήματα και πραγματικές καταστάσεις.
Αυτό σημαίνει ότι οι βαθμολογίες της PISA δεν πρέπει να ταυτίζονται με τη συνολική «ποιότητα της παιδείας» μιας χώρας.
Η PISA μετρά συγκεκριμένες μορφές γραμματισμού και όχι όλες τις διαστάσεις της εκπαίδευσης.
Δεν μετρά, στον ίδιο βαθμό, την ιστορική γνώση, τη φιλοσοφική σκέψη, την αισθητική καλλιέργεια, τη μουσική, την πολιτική συνείδηση ή άλλες διαστάσεις που μπορούν να θεωρηθούν εξίσου σημαντικοί στόχοι της εκπαίδευσης. Τα Επαγγέλματα του Μέλλοντος
Ένα ιδιαίτερα σύνθετο σύστημα μέτρησης
Η PISA δεν αποτελεί ένα απλό «τεστ».
Χρησιμοποιεί μεγάλα και αντιπροσωπευτικά δείγματα, κοινά πλαίσια αξιολόγησης, διαδικασίες μετάφρασης και προσαρμογής, πιλοτικές δοκιμές, ψυχομετρική ανάλυση των ερωτημάτων και σύνθετα στατιστικά μοντέλα.
Ο στόχος δεν είναι να υπολογιστεί με ακρίβεια ο ατομικός «βαθμός» κάθε μαθητή, αλλά να αποτυπωθούν οι επιδόσεις των πληθυσμών.
Επομένως, από άποψη τεχνικής επεξεργασίας, πρόκειται για ένα ιδιαίτερα σύνθετο διεθνές πρόγραμμα εκπαιδευτικής μέτρησης.
Αυτό, βέβαια, δεν σημαίνει ότι είναι αλάνθαστο.
Σημαίνει όμως ότι η σοβαρή κριτική πρέπει να αφορά συγκεκριμένα προβλήματα μέτρησης και εγκυρότητας και όχι να απορρίπτει συνολικά τα δεδομένα της.
Αξιοπιστία δεν σημαίνει εγκυρότητα για κάθε ερμηνεία
Ένα τεστ μπορεί να μετρά με μεγάλη συνέπεια ένα συγκεκριμένο χαρακτηριστικό, χωρίς να μετρά ολόκληρο αυτό που θα αποκαλούσαμε «καλή εκπαίδευση».
Η PISA μετρά συγκεκριμένες μορφές αναγνωστικού, μαθηματικού και επιστημονικού γραμματισμού.
Το γεγονός ότι ένας μαθητής ή μια χώρα έχει υψηλή επίδοση σε αυτά τα πεδία δεν σημαίνει αυτομάτως ότι διαθέτει το καλύτερο δυνατό εκπαιδευτικό σύστημα σε κάθε διάσταση.
Εδώ προκύπτει και ένα ευρύτερο ερώτημα:
Ποιος αποφασίζει τι αποτελεί «χρήσιμη γνώση» και ποιες δεξιότητες αξίζει να μετρηθούν;
Η ιδεολογική διάσταση της PISA
Ο ΟΟΣΑ δεν είναι ένας ουδέτερος, αμιγώς επιστημονικός φορέας εκπαιδευτικής μέτρησης. Είναι ένας διεθνής οργανισμός με σημαντικό ρόλο στην οικονομική και δημόσια πολιτική.
Αυτό δεν σημαίνει ότι οι μετρήσεις της PISA είναι πλαστές ή αναξιόπιστες.
Σημαίνει όμως ότι η επιλογή του τι μετράμε, ποιες δεξιότητες θεωρούμε σημαντικές και τι ονομάζουμε «εκπαιδευτική επιτυχία» δεν είναι απολύτως απαλλαγμένη από θεωρητικές και πολιτικές επιλογές.
Μπορούμε, επομένως, να ασκούμε κριτική στο θεωρητικό και ιδεολογικό πλαίσιο της PISA χωρίς να υποστηρίζουμε ότι οι διαφορές μεταξύ χωρών είναι αυθαίρετες ή ανύπαρκτες.
Πόσο συγκρίσιμες είναι διαφορετικές χώρες;
Ένα από τα σημαντικά ζητήματα αφορά τη διαπολιτισμική συγκρισιμότητα.
Μπορούμε να είμαστε βέβαιοι ότι ένα ερώτημα μετρά ακριβώς το ίδιο χαρακτηριστικό στην Ελλάδα, στην Τουρκία, στην Κίνα και στη Φινλανδία;
Η PISA διαθέτει εκτεταμένες διαδικασίες μετάφρασης, προσαρμογής και ψυχομετρικού ελέγχου. Ωστόσο, κανένα σύστημα δεν μπορεί να εξαφανίσει πλήρως τις γλωσσικές, πολιτισμικές και εκπαιδευτικές διαφορές.
Για τον λόγο αυτό χρειάζεται ιδιαίτερη προσοχή στις μικρές διαφορές μεταξύ χωρών.
Μεγαλύτερη αξία μπορεί να έχουν οι μεγάλες και επίμονες διαφορές ή οι μακροχρόνιες μεταβολές μέσα στην ίδια χώρα.
Το πρόβλημα του «low-stakes» τεστ
Ένα ιδιαίτερα σημαντικό ζήτημα είναι ότι η PISA αποτελεί εξέταση χαμηλού διακυβεύματος.
Η επίδοση του μαθητή δεν επηρεάζει τον σχολικό του βαθμό, δεν καθορίζει αν θα περάσει την τάξη και δεν συνδέεται άμεσα με την εισαγωγή του στο πανεπιστήμιο.
Γιατί, λοιπόν, να προσπαθήσει όσο περισσότερο μπορεί;
Στην PISA 2022, το 71% των μαθητών στις χώρες του ΟΟΣΑ δήλωσε ότι θα προσπαθούσε περισσότερο εάν η επίδοσή του επηρέαζε τον σχολικό βαθμό.
Το ζήτημα γίνεται ακόμη πιο σύνθετο όταν η διάθεση να προσπαθήσει κάποιος σε μια εξέταση χωρίς προσωπικές συνέπειες μπορεί να διαφέρει μεταξύ πολιτισμών και εκπαιδευτικών συστημάτων.
Ένα μέρος της διαφοράς μεταξύ χωρών μπορεί, επομένως, να σχετίζεται όχι μόνο με το τι μπορούν να κάνουν οι μαθητές, αλλά και με το πόσο προσπαθούν να το δείξουν στο συγκεκριμένο τεστ.
Η σχέση οικονομικής ευημερίας και εκπαιδευτικών επιδόσεων
Ιδιαίτερο ενδιαφέρον παρουσιάζει η σχέση μεταξύ εθνικού πλούτου και επιδόσεων στην PISA.
Σε ανάλυση δεδομένων της PISA 2009 για 67 χώρες εντοπίστηκε ισχυρή σχέση μεταξύ GNI per capita και επίδοσης στην ανάγνωση, με συσχέτιση r = 0,80, που αντιστοιχεί περίπου σε 64% κοινή διακύμανση.
Την ίδια στιγμή, ο ΟΟΣΑ είχε παρουσιάσει διαφορετική εικόνα, υποστηρίζοντας ότι το GDP per capita εξηγούσε μόλις περίπου 6% των διαφορών στις μέσες επιδόσεις.
Το κρίσιμο ζήτημα δεν ήταν μόνο η επιλογή GDP αντί GNI, αλλά και το στατιστικό πρόβλημα του restriction of range.
Όταν περιορίζουμε την ανάλυση σε ένα σχετικά ομοιογενές σύνολο πλούσιων χωρών, περιορίζεται και το εύρος της οικονομικής μεταβλητής. Αυτό μπορεί να μειώσει σημαντικά την παρατηρούμενη συσχέτιση.
Άλλο είναι, επομένως, να ρωτάμε γιατί δύο σχετικά πλούσιες χώρες με παρόμοιο εισόδημα έχουν διαφορετικές επιδόσεις και άλλο να εξετάζουμε πόσο συνδέεται ο εθνικός πλούτος με την εκπαιδευτική επίδοση σε ολόκληρο το διεθνές φάσμα χωρών.
Το σημαντικότερο μάθημα: Μέτρηση δεν σημαίνει ερμηνεία
Εδώ βρίσκεται ίσως η ουσία ολόκληρης της συζήτησης.
Μια καλή μέτρηση δεν εγγυάται την ορθή ερμηνεία της.
Μια στατιστική συσχέτιση δεν αποδεικνύει αιτιότητα.
Και ένα αποτέλεσμα της PISA δεν μπορεί από μόνο του να υποδείξει ποια εκπαιδευτική πολιτική πρέπει να ακολουθήσει μια χώρα.
Η PISA μπορεί να μας δείξει με σημαντικό βαθμό αξιοπιστίας ότι δύο χώρες διαφέρουν ή ότι μια χώρα παρουσιάζει βελτίωση ή υποχώρηση σε βάθος χρόνου.
Δεν μπορεί, όμως, από μόνη της να εξηγήσει γιατί συμβαίνει αυτό.
Ακόμη περισσότερο, δεν μπορεί να αποδείξει από μόνη της ότι μια συγκεκριμένη εκπαιδευτική πολιτική θα οδηγήσει σε καλύτερα αποτελέσματα.
Όταν τα αποτελέσματα μετατρέπονται σε πολιτικές «συνταγές»
Το πρόβλημα αρχίζει όταν τα αποτελέσματα μιας διεθνούς αξιολόγησης μετατρέπονται αυτομάτως σε συγκεκριμένες πολιτικές επιλογές.
Ένας χαμηλός βαθμός στην PISA δεν αποδεικνύει από μόνος του ότι χρειάζονται περισσότερα τεστ στα σχολεία, μεγαλύτερος ανταγωνισμός μεταξύ σχολικών μονάδων, περισσότερη διοικητική αξιολόγηση ή αλλαγή του ρόλου των εκπαιδευτικών.
Για να εξαχθούν τέτοια συμπεράσματα πρέπει να εξεταστούν μια σειρά από παράγοντες:
- το κοινωνικοοικονομικό περιβάλλον,
- οι κοινωνικές ανισότητες,
- η χρηματοδότηση της εκπαίδευσης,
- οι συνθήκες εργασίας των εκπαιδευτικών,
- η οργάνωση του σχολείου,
- τα αναλυτικά προγράμματα,
- η σχέση οικογένειας και σχολείου,
- αλλά και οι ευρύτερες οικονομικές και κοινωνικές συνθήκες.
Η οικονομία δεν είναι ο μοναδικός παράγοντας
Δεν έχει σημασία μόνο πόσο πλούσια είναι μια χώρα σε μια δεδομένη χρονική στιγμή.
Έχει σημασία και προς ποια κατεύθυνση κινείται οικονομικά και κοινωνικά.
Μια χώρα μπορεί να παραμένει σχετικά φτωχότερη, αλλά να παρουσιάζει για χρόνια αύξηση εισοδημάτων και προσδοκίες κοινωνικής κινητικότητας.
Μια άλλη μπορεί να παραμένει πλουσιότερη, αλλά να έχει περάσει μια μακρά περίοδο οικονομικής κρίσης, ανεργίας και διάψευσης προσδοκιών.
Αυτό οδηγεί σε ένα ενδιαφέρον ερώτημα:
Όταν οι μαθητές πιστεύουν ότι η σχολική προσπάθεια μπορεί να οδηγήσει σε καλύτερη ζωή, αποκτά μεγαλύτερο νόημα η επένδυση στην εκπαίδευση;
Και αντίστροφα, τι συμβαίνει όταν η κοινωνική πραγματικότητα δημιουργεί την αίσθηση ότι αυτή η σύνδεση έχει διαρραγεί;
Ελλάδα και Τουρκία: Το ερώτημα που πρέπει να μας απασχολήσει
Το γεγονός ότι η PISA είναι πρόγραμμα του ΟΟΣΑ δεν αποτελεί από μόνο του λόγο για να αγνοήσουμε τις μακροχρόνιες επιδόσεις της Ελλάδας.
Μια θέση σε ένα διεθνές ranking μιας συγκεκριμένης χρονιάς μπορεί εύκολα να υπερεκτιμηθεί.
Όταν, όμως, η ίδια χώρα εμφανίζει επί σειρά ετών προβληματικές επιδόσεις στην ανάγνωση, στα μαθηματικά και στις φυσικές επιστήμες, τότε υπάρχει ένα σοβαρό εμπειρικό σήμα που απαιτεί εξήγηση.
Αυτό δεν σημαίνει ότι η PISA μας δίνει αυτόματα την απάντηση.
Σημαίνει ότι δεν μπορούμε και να προσποιηθούμε πως το πρόβλημα εξαφανίζεται επειδή διαφωνούμε με τον ΟΟΣΑ.
Και εδώ βρίσκεται ίσως το πιο ενδιαφέρον ερώτημα μετά την PISA 2025:
Πώς γίνεται η Ελλάδα να παρουσιάζει μακροχρόνια χαμηλές επιδόσεις, ενώ η γειτονική Τουρκία, με χαμηλότερο κατά κεφαλήν εισόδημα, ακολουθεί διαφορετική εκπαιδευτική πορεία;
Αυτό είναι το ερώτημα που αξίζει να εξεταστεί πέρα από τους πίνακες κατάταξης και τους αριθμούς.
Τέσσερα διαφορετικά επίπεδα
Η συζήτηση για την PISA χρειάζεται, τελικά, να διαχωρίζει τέσσερα επίπεδα:
Αξιοπιστία: Πόσο συνεπής είναι η μέτρηση;
Εγκυρότητα: Τι ακριβώς μπορούμε να συμπεράνουμε από τις βαθμολογίες;
Αιτιότητα: Γιατί εμφανίζονται οι διαφορές μεταξύ χωρών και οι μεταβολές στον χρόνο;
Πολιτική χρήση: Τι επιλέγουν κυβερνήσεις και διεθνείς οργανισμοί να κάνουν με βάση τα αποτελέσματα;
Η διάκριση αυτή είναι κρίσιμη.
Η αξιόπιστη μέτρηση δεν εγγυάται την ορθή ερμηνεία. Η στατιστική σχέση δεν αποδεικνύει αιτιότητα. Και κανένα εμπειρικό εύρημα δεν υποδεικνύει από μόνο του μία συγκεκριμένη εκπαιδευτική πολιτική.
Η PISA μπορεί να είναι ένα χρήσιμο εργαλείο για να εντοπίζουμε τάσεις και να συγκρίνουμε συγκεκριμένες μαθησιακές δεξιότητες.
Δεν μπορεί όμως να αποτελέσει από μόνη της τον απόλυτο κριτή για το αν ένα εκπαιδευτικό σύστημα είναι «καλό» ή «κακό», ούτε να υπαγορεύσει αυτόματα τη λύση στα προβλήματα της εκπαίδευσης.
