Εργασία για το μάθημα: «Χρήση και αξιολόγηση εκπαιδευτικού λογισμικού» , Β' Εξάμηνο, 2012-13 http://www.socialstudies.edu.gr/

1. ΕΘΝΙΚΟΝ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟΝ ΠΑΝΕΠΙΣΤΗΜΙΟΝ ΑΘΗΝΩΝ
ΠΑΙΔΑΓΩΓΙΚΟ ΤΜΗΜΑ ΔΗΜΟΤΙΚΗΣ ΕΚΠΑΙΔΕΥΣΗΣ
ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ
ΤΟΜΕΑΣ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΕΡΓΑΣΙΑ ΓΙΑ ΤΟ ΜΑΘΗΜΑ
«Χρήση και Αξιολόγηση εκπαιδευτικού λογισμικού»
«Βιβλιογραφική ανασκόπηση και κριτική ανάγνωση εμπειρικών μελετών για την
ευρετική αξιολόγηση εκπαιδευτικού λογισμικού»
Καζάκου Γεωργία (Α.Μ. 212328, georgiakazakou@yahoo.gr)
Υπεύθυνος Καθηγητής Γεώργιος Κουτρομάνος
ΑΘΗΝΑ
ΙΟΥΝΙΟΣ 2013
1

2. Εισαγωγή – προβληματική
Όσο αυτονόητη θεωρείται σήμερα η χρήση του εκπαιδευτικού λογισμικού
στην εκπαιδευτική διαδικασία, άλλο τόσο αυτονόητη είναι και η απαίτηση για την
αξιολόγησή του. Χάρη στην αξιολόγηση απαντάμε σε βασικά ερωτήματα, όπως ποια
είναι τα χαρακτηριστικά του λογισμικού, ποια είναι τα πλεονεκτήματα και τα
μειονεκτήματά του τόσο από τεχνικής όσο και από παιδαγωγικής πλευράς καθώς και
πώς θα μπορούσε να αξιοποιηθεί στην εκπαιδευτική πράξη. Σκοπός της αξιολόγησης
είναι αναμφισβήτητα η βελτίωση της ποιότητας του εκπαιδευτικού λογισμικού.
Στην παρούσα εργασία επιχειρείται μια βιβλιογραφική ανασκόπηση και μια
κριτική ανάγνωση εφτά (07) εμπειρικών μελετών, ελληνικών και ξένων, για την
ευρετική αξιολόγηση εκπαιδευτικού λογισμικού ως προς το θεωρητικό
προβληματισμό που αναπτύσσουν, τις ερευνητικές υποθέσεις και τα ερευνητικά
ερωτήματα που διατυπώνουν, τη μεθοδολογική προσέγγιση που ακολουθούν και τα
σημαντικότερα ευρήματά τους. Τέλος, αποτιμώνται κριτικά όλα τα παραπάνω
ζητήματα και διατυπώνονται νέα που προκύπτουν για περαιτέρω διερεύνηση.
Θεωρητικό πλαίσιο
Η ευρετική αξιολόγηση (heuristic evaluation) είτε πρόκειται για αυτόνομη
διαδικασία είτε αποτελεί μέρος της διαμορφωτικής αξιολόγησης, εξετάζει τη
χρησιμότητα ή αλλιώς την ευχρηστία μιας εκπαιδευτικής εφαρμογής. Λαμβάνει χώρα
κατά τη διάρκεια της ανάπτυξης του εκπαιδευτικού λογισμικού και στοχεύει στο να
εντοπίζει λάθη, αδυναμίες και ατέλειες της διεπαφής του χρήστη (user interface). Με
αυτόν τον τρόπο η ομάδα των σχεδιαστών έχει την κατάλληλη ανατροφοδότηση για
να προχωρήσει σε επανασχεδιασμό της εκπαιδευτικής εφαρμογής, όπου αυτός
χρειάζεται.
Διενεργείται από μια ολιγομελή ομάδα αξιολογητών, ειδικών του αντικειμένου
της Πληροφορικής ή του σχεδιασμού διεπιφαφής λογισμικών. Η αξιολόγηση γίνεται
με βάση συγκεκριμένους κανόνες – κριτήρια που αποτελούν εισήγηση των Molish
and Nielsen (1990) και Nielsen (1994).
Εκτός από τους δέκα (10) ευρετικούς κανόνες πρότειναν συγκεκριμένη
διαδικασία και όρους για την ευρετική αξιολόγηση όπως π.χ. ότι ο αξιολογητής
ελέγχει μόνος του τη διεπαφή του λογισμικού, αρχικά βλέποντας όλο το περιεχόμενό
του και στη συνέχεια εξετάζοντας σχολαστικά μία- μία οθόνη του.
2

3. Ο σχεδιασμός της διεπιφάνειας χρήστη είναι πολύ σημαντική διαδικασία γιατί
αποτελεί το συνδετικό κρίκο μεταξύ του χρήστη και του εκπαιδευτικού υλικού. Στη
διεπιφάνεια ο χρήστης βλέπει, ακούει, έρχεται σε επαφή και επικοινωνεί. Αυτό
σημαίνει ότι ανεξάρτητα από το εκπαιδευτικό περιεχόμενο, μια ατελής διεπιφάνεια
χρήστη μπορεί από μόνη της να επιδράσει αρνητικά στην υπολογιστική υποστήριξη
της διδασκαλίας και της μάθησης (Παναγιωτακόπουλος και συν., 2003). Επομένως, η
ευρετική αξιολόγηση ενός εκπαιδευτικού λογισμικού κρίνεται μεγάλης σημασίας.
Σύνθεση των εμπειρικών ερευνών
Θεωρητικός προβληματισμός
Όλες οι υπό εξέταση εμπειρικές μελέτες προσπαθούν να καλύψουν κάποιο
ερευνητικό κενό που σχετίζεται με την ευρετική αξιολόγηση. Είτε πρόκειται για
διαδικτυακά συστήματα μάθησης και για e-learning εφαρμογές είτε για εκπαιδευτικό
λογισμικό πολυμέσων και για ανοιχτά περιβάλλοντα μάθησης, ο πρωταρχικός σκοπός
των ερευνών είναι η αξιολόγηση της ευχρηστίας των παραπάνω εκπαιδευτικών
μέσων. Σε όλες τις έρευνες αναφέρεται ότι δεν έχει ερευνηθεί αρκετά το υπό
αξιολόγηση εκπαιδευτικό μέσο ή ότι δεν έχει δοθεί σε αυτό η δέουσα προσοχή,
ερευνητικά μιλώντας. Αυτό σημαίνει ότι διατυπώνεται ο προβληματισμός: ποιες είναι
οι πλέον κατάλληλες τεχνικές, ποια είναι τα κριτήρια και τα μέσα που θα πρέπει να
χρησιμοποιούνται για την αξιολόγηση της ευχρηστίας των εν λόγω εφαρμογών των
Τεχνολογιών της Πληροφορίας και της Επικοινωνίας (Τ.Π.Ε.), δεδομένων των
ιδιαίτερων χαρακτηριστικών τους που τα διαφοροποιούν από άλλες εφαρμογές.
Χαρακτηριστικό είναι το παράδειγμα των ανοιχτώ περιβαλλόντων μάθησης τα οποία
απαιτούν διαφορετική προσέγγιση ευρετικής αξιολόγησης από τα συμπεριφοριστικού
τύπου εκπαιδευτικά λογισμικά για παράδειγμα.
Γίνεται επίσης λόγος για αποτελεσματική και αποδοτική αξιολόγηση, όχι
μόνον από τεχνικής και παιδαγωγικής άποψης αλλά και από την πλευρά του κόστους.
Το χαμηλό κόστος είναι άλλωστε ένα από τα χαρακτηριστικά και πλεονεκτήματα της
ευρετικής αξιολόγησης. Οι ερευνητές ενδιαφέρονται επομένως για την
ελαχιστοποίηση του κόστους της ευρετικής αξιολόγησης, γεγονός που επιτυγχάνεται
με την επιλογή και εφαρμογή εκείνων των μεθόδων που χρησιμοποιούν
αποτελεσματικότερα τους διαθέσιμους πόρους.
Ερευνητικές υποθέσεις
3

4. Αν και δεν είναι όλες οι περιπτώσεις των υπό μελέτη εμπειρικών ερευνών εξ’
ολοκλήρου ευρετικές αξιολογήσεις – μία από αυτές έχει ως θέμα το σχεδιασμό και τη
διαμορφωτική αξιολόγηση ενός διαδικτυακού συστήματος μάθησης, στα πλαίσια της
οποίας εντάσσεται η ευρετική αξιολόγηση – όλες οι εργασίες θέτουν το ζήτημα της
σπουδαιότητας και χρησιμότητας της ευχρηστίας ενός λογισμικού.
Ως προς τον ορισμό της ευρετικής αξιολόγησης το σημείο αναφοράς είναι ο
Nielsen και οι κλασικοί πλέον δέκα (10) ευρετικοί κανόνες που πρότεινε για την
αξιολόγηση της διεπιφάνειας χρήστη.
Από εκεί και πέρα, οι τέσσερις από τις επτά έρευνες προχωρούν στην
υιοθέτηση της πρότασης των Squires and Preece για την αξιολόγηση πρόβλεψης ενός
εκπαιδευτικού λογισμικού βασιζόμενη σε μια σειρά ευρετικών κανόνων που
ενσωματώνουν και συνδυάζουν την ευχρηστία με τα ζητήματα μάθησης. Η
επιχειρηματολογία των ερευνητών περιλαμβάνει την καταγραφή των μειονεκτημάτων
της ευρετικής αξιολόγησης όπως την πρότεινε ο Nielsen π.χ. η υποκειμενικότητα και
των αμφισβητήσεων που δέχτηκε στη συνέχεια αναφορικά με την εγκυρότητά της.
Ειδικά στις περιπτώσεις των ανοιχτών περιβαλλόντων μάθησης και των e-
learning εφαρμογών, τονίζεται ότι η ευρετική αξιολόγηση με τους παραδοσιακούς
όρους δεν είναι αρκετή λόγω των ιδιαίτερων χαρακτηριστικών τους. Αυτά είναι το
οικοδομιστικό πλαίσιο μέσα στο οποίο κινούνται και τα κοινωνικο-
κονστρουκτιβιστικά στοιχεία που ενέχουν. Από τα παραπάνω συνάγεται ότι η
αξιολόγηση των ανοιχτών περιβαλλόντων μάθησης και e-learning εφαρμογών
καθίσταται ιδιαίτερη και δυσχερής γι’ αυτό και προτείνεται η εφαρμογή ειδικά
προσαρμοσμένων μεθόδων και πλαισίων αξιολόγησης.
Εκτός από την καταγραφή της αμφισβήτησης των Squires and Preece
αναφορικά με τους ευρετικούς κανόνες του Nielsen, στην έρευνα για την αξιολόγηση
του εκπαιδευτικού λογισμικού πολυμέσων γίνεται μνεία στο μοντέλο αξιολόγησης
Quinn (1996), σύμφωνα με το οποίο οι προσεγγίσει της αξιολόγησης ευχρηστίας
μπορούν αναπροσαρμοστούν για να χρησιμοποιηθούν για την αξιολόγηση του
εκπαιδευτικού σχεδιασμού και του περιεχομένου ενός λογισμικού. Επίσης,
συμπληρωματικά στην έρευνα “A Comparative study of two usability evaluation
methods using a web-based e-learning application” χρησιμοποιείται και ο ορισμός της
ευχρηστίας όπως δίνεται από τον Διεθνή Οργανισμό Πιστοποίησης (ISO).
4

5. Με βάση το υπό αξιολόγηση εκπαιδευτικό μέσο της κάθε έρευνας
διατυπώνονται και οι αντίστοιχες ερευνητικές υποθέσεις. Ενδεικτικά, στην περίπτωση
της αξιολόγησης ενός διαδικτυακού συστήματος μάθησης (“The design and the
formative evaluation of a web-based course for simulation analysis experiences”) μία
από τις ερευνητικές υποθέσεις είναι το μοντέλο ανάπτυξης των εφτά σταδίων,
Norman (1986), ενώ στην περίπτωση της αξιολόγησης e-learning εφαρμογών
(“Usability Evaluation Of an E-Learning Tutorial: Criteria, Questions and Case
Study”) μία από τις ερευνητικές υποθέσεις είναι ο ορισμός του e-learning από το
Ευρωπαϊκό Κέντρο για την Ανάπτυξη της Επαγγελματικής Κατάρτισης (Cedefop,
2002).
Ερευνητικά ερωτήματα
Με δεδομένο ότι τα ερευνητικά ερωτήματα μιας εκπαιδευτικής έρευνας
προκύπτουν από τη συσχέτιση των ερευνητικών υποθέσεών της, συμπεραίνεται ότι
κάθε μία από τις υπό εξέταση εμπειρικές μελέτες διατυπώνει διαφορετικό ερώτημα
καθώς παρατηρείται σύγκλιση στις υποθέσεις και όχι ταύτιση. Τα ερευνητικά
ερωτήματα – προβλήματα των εμπειρικών μελετών που εξετάζει η παρούσα εργασία
είναι τα εξής:
1. The design and the formative evaluation of a web-based course for simulation
analysis experiences: πώς θα γίνει ο σχεδιασμός ενός αποτελεσματικού και
αποδοτικού διαδικτυακού μαθήματος ώστε να βοηθήσει αρχάριους με την
προσομοίωση να μάθουν τακτικές προσομοίωσης σε συνδυασμό με τη μάθηση
της παραδοσιακής τάξης;
2. Usability Evaluation Of an E-Learning Tutorial: Criteria, Questions and Case
Study: ποιες τεχνικές, κριτήρια και μέσα θα πρέπει να χρησιμοποιηθούν για την
αξιολόγηση της ευχρηστίας των e-learning εφαρμογών;
3. A Comparative study of two usability evaluation methods using a web-based e-
learning application: μέχρι ποιου βαθμού τα ευρήματα των ειδικών που κάνουν
ευρετική αξιολόγηση μιας διαδικτυακής e-learning εφαρμογής ανταποκρίνονται
στα αντίστοιχα ευρήματα των εκπαιδευόμενων που κάνουν επισκόπηση της
εφαρμογής;
5

6. 4. Heuristic evaluation of educational multimedia: from theory to practice: ποια
μέθοδος ευρετικής αξιολόγησης είναι αποτελεσματικότερη για την περίπτωση του
εκπαιδευτικού λογισμικού πολυμέσων: του Nielsen (1994) ή του Quinn (1996);
5. Εργαλεία και μεθοδολογίες αξιολόγησης ανοιχτών περιβαλλόντων μάθησης: ποια
εργαλεία πρέπει να αναπτυχθούν και να χρησιμοποιηθούν για την υποστήριξη της
αξιολόγησης ανοιχτών περιβαλλόντων μάθησης και ειδικότερα μικρόκοσμων;
6. Heuristic evaluation of e-learning courses: a comparative analysis of two e-
learning heuristic sets: ποιο ευρετικό πρωτόκολλο αξιολόγησης είναι προτιμότερο
για τις e-learning εφαρμογές: αυτό που αναπτύχθηκε από τους Reeves et al (2002)
ή από τους Mehlenbacher et al (2005);
7. Ευρετική αξιολόγηση από προσομοιωμένους ειδικούς σε ανοιχτά περιβάλλοντα
μάθησης: η διερεύνηση της εφαρμοσιμότητας της ευρετικής αξιολόγησης ως
αυτόνομης μεθόδου αξιολόγησης σε ανοιχτά περιβάλλοντα μάθησης.
Ωστόσο, αν ήθελε κανείς να συνθέσει τα παραπάνω ερευνητικά προβλήματα σε
ένα θα έλεγε ότι αυτά συνοψίζονται στην αναζήτηση της πλέον κατάλληλης
ευρετικής προσέγγισης μέσω της σύγκρισης μεταξύ διαφόρων μεθόδων –
πρωτοκόλλων αξιολόγησης εκπαιδευτικού λογισμικού.
Μεθοδολογική προσέγγιση αξιολόγησης
Αναφορικά με την ακολουθούμενη μεθοδολογία παρατηρείται ποικιλία
προσεγγίσεων. Συγκεκριμένα, σε δύο από τις μελέτες (De Villiers, 2004 και Albion,
1999) χρησιμοποιήθηκε το ερωτηματολόγιο κλειστού τύπου το οποίο συμπληρώθηκε
αποκλειστικά από φοιτητές στην πρώτη περίπτωση και από φοιτητές και άτομα που
χαρακτηρίζονται ως ειδικοί ση δεύτερη. Και στις δύο περιπτώσεις οι αξιολογητές
λειτούργησαν ως χρήστες του λογισμικού ενώ η διαφορά μεταξύ των δύο
περιπτώσεων έγκειται στους ευρετικούς κανόνες στους οποίους βασίστηκαν οι
ερωτήσεις. Δηλαδή, στην έρευνα De Villiers (2004) το ερωτηματολόγιο βασίστηκε
στα ευρετικά κριτήρια των Squires and Preece και στην έρευνα Albion (1999)
βασίστηκε στα κριτήρια των Nielsen και Quinn.
Στις έρευνες των Τσέλιου, Κόμη & Αβούρη (2004) και Κορδάκη, Αβούρη &
Τσέλιου (2000) έγινε μία σύνθεση μεταξύ δύο μεθόδων αξιολόγησης. Στην πρώτη
έρευνα η αξιολόγηση έγινε σε δύο φάσεις: στην α’ φάση εφαρμόστηκε η κλασική
ευρετική αξιολόγηση με τους δέκα κανόνες του Nielsen από έμπειρους αξιολογητές
6

7. και στη β’ φάση διεξήχθη παρατήρηση πεδίου με συμμετοχή φοιτητών, οι οποίοι
λειτούργησαν ως προσομοιωμένοι χρήστες. Ομοίως, και η δεύτερη έρευνα έγινε σε
δύο φάσεις: στην α’ φάση εφαρμόστηκε η ευρετική αξιολόγηση από ειδικούς, με τη
χρήση νέων κανόνων που συνδύαζαν ευχρηστία και μάθηση και στη β’ φάση
διεξήχθη παρατήρηση πεδίου με συμμετοχή μαθητών και χρήση ποικιλίας εργαλείων.
Το τρίτο ζεύγος των ερευνών ακολούθησε τη λεγόμενη τριγωνοποίηση
(Ssemugabi, and De Villiers, 2007 και Tao et al., 2006). Η πρώτη έρευνα αξιολόγησε
το εκπαιδευτικό λογισμικό μέσω ερωτηματολογίου κλειστού τύπου που
συμπλήρωσαν οι φοιτητές – χρήστες και μέσω συνέντευξης σε μέρος αυτών. Ακόμη,
ειδικοί στο σχεδιασμό της διεπιφάνειας χρήστη, στο διδακτικό σχεδιασμό και στη
διδασκαλία αξιολόγησης, μεταξύ άλλων, την ευχρηστία της διεπιφάνειας του
λογισμικού με βάση τους κανόνες του Nielsen. Ομοίως, στη δεύτερη έρευνα έγινε
συνδυασμός ποιοτικής και ποσοτικής μεθόδου. Φοιτητές – χρήστες αξιολόγησαν τη
διεπιφάνεια και τον αρχικό σχεδιασμό του λογισμικού, τα ευρήματα των οποίων
καταγράφηκαν μέσω παρατήρησης, ηχογράφησης και συνέντευξης. Επίσης, έγινε
συνολική αξιολόγηση ευχρηστίας και μαθησιακών αποτελεσμάτων κατά το τελικό
στάδιο σχεδιασμού του συστήματος μέσω ερωτηματολογίου. Οι δε ειδικοί που
επελέγησαν για να αξιολογήσουν το λογισμικό έκανα μια εποικοδομητική
αξιολόγησης ευρετικού τύπου, τα συμπεράσματα των οποίων καταγράφηκαν μέσω
συνέντευξης.
Τέλος, στην έρευνα των Zaharias & Koutsabasis, (2011) έγινε αξιολόγηση από
δύο διπλά ειδικούς, σύμφωνα με τον ορισμό του Nielsen, στην αξιολόγηση
ευχρηστίας και στην από απόσταση μάθηση με τη χρήση δύο διαφορετικών
ευρετικών πρωτοκόλλων: Reeves (2002) και Mehlenbacher (2005).
Ευρήματα
Βασικό συμπέρασμα των εμπειρικών μελετών που εξετάζονται την παρούσα
εργασία είναι οι ότι οι ερευνητικές υποθέσεις που διατυπώθηκαν και συγκεκριμένα
αυτές που αναφέρονταν στα ευρετικά κριτήρια αξιολόγησης, είτε πρόκειται για του
Nielsen είτε για των Squires and Preece ή για σύνθεσή τους κ.τ.λ. αποδείχθηκαν
αποτελεσματικές. Επιπλέον, γίνεται λόγος για τη συμβολή των ευρημάτων των
ερευνών στη μελλοντική ανάπτυξη και αναβάθμιση των εκπαιδευτικών λογισμικών
που αξιολογήθηκαν. Από το παραπάνω συμπέρασμα διαφαίνεται και η αξία της
7

8. ευρετικής αξιολόγησης στη διαδικασία σχεδιασμού και ανάπτυξης ενός
εκπαιδευτικού λογισμικού.
Τα ευρήματα των ερευνών οδηγούν ακόμη στη διαπίστωση ότι τα ευρετικά
κριτήρια που υιοθετήθηκαν επιδέχονται βελτίωσης, συμπλήρωσης και επεξεργασίας
όπως επίσης, ότι χρειάζεται περαιτέρω έρευνα σε μεγαλύτερα δείγματα ή χρήση κι
άλλων ερευνητικών μεθόδων ώστε να συναχθούν ασφαλέστερα συμπεράσματα.
Κριτική αποτίμηση των εμπειρικών μελετών
Σε μια προσπάθεια κριτικής αποτίμησης των υπό μελέτη εμπειρικών ερευνών
καταλήγει κανείς στα εξής συμπεράσματα: αρχικά, θεωρείται αυτονόητη η απαίτηση
για την πιστοποίηση της ευχρηστίας του εκπαιδευτικού λογισμικού. Ωστόσο, αν και
δεν υπάρχει αμφιβολία για την αναγκαιότητα σχεδιασμού και ανάπτυξης ενός κοινά
αποδεκτού συστήματος αξιολόγησης της ευχρηστίας του εκπαιδευτικού λογισμικού,
αναγνωρίζεται ότι υπάρχει σημαντικό έλλειμμα σε εφαρμοσμένες τεχνικές
αξιολόγησης χαμηλού κόστους. Επιπρόσθετα, πρέπει να τονιστεί ότι η ευρετική
αξιολόγηση πρέπει να εφαρμόζεται τροποποιημένη ανάλογα με το είδος του
εκπαιδευτικού λογισμικού και το πλαίσιο μάθησης που εκφράζει. Τέλος,
αμφισβητείται έντονα η εγκυρότητα της αξιολόγησης που βασίζεται αποκλειστικά
στην εξέταση της ευχρηστίας και δε συνεκτιμά και παιδαγωγικές διαστάσεις του
περιβάλλοντος του εκπαιδευτικού λογισμικού.
Βιβλιογραφία
Α. Βιβλία
1. Κόμης, Β. (2004). Εισαγωγή στις εκπαιδευτικές εφαρμογές των Τεχνολογιών
της Πληροφορίας και των Επικοινωνιών. Αθήνα: Νέων Τεχνολογιών.
2. Παναγιωτακόπουλος, Χ., Πιερρακέας, Χ. και Πιντέλας, Π. (2003). Το
εκπαιδευτικό λογισμικό και η αξιολόγησή του. Αθήνα: Μεταίχμιο.
3. Ράπτης, Α. & Ράπτη, Α. (2007). Μάθηση και Διδασκαλία στην Εποχή της
Πληροφορίας, Ολική Προσέγγιση, Τόμος Α. Αθήνα: έκδοση συγγραφέων.
Β. Περιοδικές εκδόσεις
1. Tao, Yu-Hui, Guo, Shin-Ming, Lu, Ya-Hui (2006). The design and the
formative evaluation of a web-based course for simulation analysis
8

9. experiences. Computers & Education, Volume 47, Issue 4, December 2006,
Pages 414–432
2. Zaharias, Panagiotis, Koutsabasis, Panayiotis, (2011). Heuristic evaluation of
e-learning courses: a comparative analysis of two e-learning heuristic sets.
Campus-Wide Information Systems, Vol. 29 Iss: 1 pp. 45-60.
Γ. Πρακτικά συνεδρίων
1. Albion, Peter (1999) Heuristic evaluation of educational multimedia: from
theory to practice. In ASCILITE 1999: 16th Annual Conference of the
Australasian Society for Computers in Learning in Tertiary Education:
Responding to Diversity, 5 - 8 Dec 1999, Brisbane, Austrlia.
2. De Villiers, Ruth (2004) Usability Evaluation Of an E-Learning Tutorial:
Criteria, Questions and Case Study. In the Proceedings of: SAICSIT 2004,
South African Institute of Computer Scientists and Information Technologists,
284-291
3. Ssemugabi, Samuel and De Villiers, Ruth, A Comparative study of two
usability evaluation methods using a web-based e-learning application, In the
Proceedings of SAICIT 2007, Annual research conference of the South
African institute of computer scientists and information technologists on IT
research in developing countries, 2-3 October 2007, Fish River Sun, Sunshine
Coast, South Africa, Pages 132-142
4. Τσέλιος, Ν., Κόμης, Β. & Αβούρης, Ν. (2004). Ευρετική αξιολόγηση από
προσομοιωμένους ειδικούς σε ανοιχτά περιβάλλοντα μάθησης. Πρακτικά 4ου
Συνεδρίου ΕΤΠΕ, 29/09-03/10/2004, Πανεπιστήμιο Αθηνών, σελ. 587-596.
5. Κορδάκη, Μ., Αβούρης, Ν. & Τσέλιος, Ν. (2000). Εργαλεία και μεθοδολογίες
αξιολόγησης ανοιχτών περιβαλλόντων μάθησης. Πρακτικά 2ου Πανελλήνιου
Συνεδρίου με Διεθνή Συμμετοχή, Πάτρα, Οκτώβριος 2000, σελ. 371-381.
9

10. experiences. Computers & Education, Volume 47, Issue 4, December 2006,
Pages 414–432
2. Zaharias, Panagiotis, Koutsabasis, Panayiotis, (2011). Heuristic evaluation of
e-learning courses: a comparative analysis of two e-learning heuristic sets.
Campus-Wide Information Systems, Vol. 29 Iss: 1 pp. 45-60.
Γ. Πρακτικά συνεδρίων
1. Albion, Peter (1999) Heuristic evaluation of educational multimedia: from
theory to practice. In ASCILITE 1999: 16th Annual Conference of the
Australasian Society for Computers in Learning in Tertiary Education:
Responding to Diversity, 5 - 8 Dec 1999, Brisbane, Austrlia.
2. De Villiers, Ruth (2004) Usability Evaluation Of an E-Learning Tutorial:
Criteria, Questions and Case Study. In the Proceedings of: SAICSIT 2004,
South African Institute of Computer Scientists and Information Technologists,
284-291
3. Ssemugabi, Samuel and De Villiers, Ruth, A Comparative study of two
usability evaluation methods using a web-based e-learning application, In the
Proceedings of SAICIT 2007, Annual research conference of the South
African institute of computer scientists and information technologists on IT
research in developing countries, 2-3 October 2007, Fish River Sun, Sunshine
Coast, South Africa, Pages 132-142
4. Τσέλιος, Ν., Κόμης, Β. & Αβούρης, Ν. (2004). Ευρετική αξιολόγηση από
προσομοιωμένους ειδικούς σε ανοιχτά περιβάλλοντα μάθησης. Πρακτικά 4ου
Συνεδρίου ΕΤΠΕ, 29/09-03/10/2004, Πανεπιστήμιο Αθηνών, σελ. 587-596.
5. Κορδάκη, Μ., Αβούρης, Ν. & Τσέλιος, Ν. (2000). Εργαλεία και μεθοδολογίες
αξιολόγησης ανοιχτών περιβαλλόντων μάθησης. Πρακτικά 2ου Πανελλήνιου
Συνεδρίου με Διεθνή Συμμετοχή, Πάτρα, Οκτώβριος 2000, σελ. 371-381.
9