ei mesi che vanno da Ottobre 2005 ad Aprile 2006, presso il Cnipa, è stata condotta una sperimentazione volta ad acquisire conoscenze teoriche e pratiche circa le opportunità offerte dalle piattaforme Open Source (OS) per l’e-learning. Consci del fatto che l’unico modo per conoscere bene un sistema è utilizzarlo, dopo aver analizzato le differenti soluzioni presenti sul mercato, si è scelto di “testare” sul campo due Learning Management System (LMS): ATutor e Moodle.

1. Sperimentare piattaforme Open Source
Un esempio di applicazione della metodologia Cnipa
ATutor vs Moodle1
Rapporto a cura di:
Dott. Andrea Massara
Dott.ssa Veronica Mobilio
1
Le versioni dei software utilizzati per il test sono:
▪ Atutor 1.5.2 con il modulo Acollab 1.2
▪ Moodle 1.5.3
Come layout grafico è stato utilizzato il template fornito di default al momento dell’installazione.

2. 2
Indice:
Capitolo 1- La sperimentazione: ATutor vs Moodle....................................................3
1.1 La selezione delle piattaforme ..........................................................................................3
1.1.1 ATutor......................................................................................................................3
1.1b Moodle......................................................................................................................3
1.2 Criteri di selezione ...........................................................................................................4
1.2.1 Conformità agli standard per il contenuto ...................................................................4
1.2.2 Estensione della comunità e diffusione a livello nazionale ............................................4
1.2.3 Corrispondenza ai requisiti di accessibilità...................................................................5
1.3 Obiettivi e step della sperimentazione...............................................................................5
1.4 Strumenti di raccolta dati .................................................................................................6
Capitolo 2 - Risultati dei test di usabilità..................................................................7
2.1 Introduzione ...................................................................................................................7
2.1.1 Creazione e strutturazione di un corso – profilo docente..............................................8
2.2.2 Creazione e strutturazione di una unità didattica – profilo docente .............................10
2.2.3 Creazione e verifica di un questionario di valutazione – profilo docente ......................12
2.2.4 Strutturazione delle attività didattiche – profilo tutor .................................................14
2.2.5 Tracciamento – profilo tutor ....................................................................................16
2.2.6 Predisposizione dei materiali didattici – profilo tutor ..................................................18
2.2.7 Fruizione del corso – profilo discente........................................................................20
2.2.8 Condivisione di documenti – profilo discente.............................................................22
2.2.9 Partecipazione alle attività didattiche – profilo discente..............................................24
2.2.10 Monitoraggio delle attività svolte – profilo discente..................................................26
2.3 Valutazione dell’usabilità percepita..............................................................................28
2.4 Risultati e valutazioni complessive...............................................................................29
Capitolo 3 - La griglia di valutazione......................................................................33
3.1 Introduzione .................................................................................................................33
3.1.1 Piattaforma tecnologica...........................................................................................34
3.1.2 Strumenti per l'amministrazione...............................................................................34
3.1.3 Sviluppo e gestione del contenuto............................................................................35
3.1.4 Strumenti per l'erogazione didattica .........................................................................35
3.1.5 Supporto agli standard ............................................................................................36
3.1.6 Strumenti per la comunicazione e l'interazione..........................................................36
3.1.7 Strumenti per la produttività....................................................................................37
3.1.8 Strumenti a disposizione del discente .......................................................................37
3.1.9 Supporto ................................................................................................................38
Capitolo 4 - Valutazioni complessive......................................................................39
Appendice 1: caratteristiche degli utenti................................................................40
Appendice 2: composizione globale del campione...................................................41
Appendice 3: scheda di valutazione .......................................................................42
Appendice 4: questionario SUS..............................................................................43
Appendice 5: griglia di valutazione ........................................................................44

3. 3
Capitolo 1- La sperimentazione: ATutor vs Moodle
1.1 La selezione delle piattaforme
Nei mesi che vanno da Ottobre 2005 ad Aprile 2006, presso il Cnipa, è stata condotta una
sperimentazione volta ad acquisire conoscenze teoriche e pratiche circa le opportunità offerte dalle
piattaforme Open Source (OS) per l’e-learning. Consci del fatto che l’unico modo per conoscere bene un
sistema è utilizzarlo, dopo aver analizzato le differenti soluzioni presenti sul mercato, si è scelto di “testare”
sul campo due Learning Management System (LMS): Atutor e Moodle.
1.1.1 ATutor
ATutor è un LMS nato da un
progetto sviluppato nel 2002 con la
collaborazione del Centro di
Ricerche per le Tecnologie
Adattabili dell'Università di Toronto.
Questo centro è conosciuto a livello
internazionale come leader nello
sviluppo di tecnologie e standard
che assicurino alle persone con
disabilità la possibilità di avere
accesso alle opportunità fornite
dall'e-learning. Questa missione del
Centro ha profondamente
influenzato lo sviluppo della
piattaforma stessa.
Schematizzando, anche se la documentazione sul sistema è tutta in inglese, i principali vantaggi di
questa piattaforma sono:
ambiente integrato per la realizzazione e la gestione dei corsi;
possibilità di definire chiavi che facilitano il meccanismo di ricerca che è disponibile su tutto il
catalogo;
strumenti per l'importazione e l'esportazione degli utenti;
possibilità di creare test e tracciare l’operato degli attori presenti sulla piattaforma;
supporto degli standard SCORM e IMS per il packaging dei contenuti;
elevate caratteristiche di usabilità ed accessibilità.
1.1b Moodle
Moodle, ovvero Modular
Object-Oriented Dynamic
Learning Environment, è un
progetto nato come tesi di
dottorato di uno studente
australiano, Martin Dougiamas.
L’obiettivo del progetto è stato
sviluppare un LMS
tecnologicamente completo che
consentisse di produrre corsi
basati su Internet e siti web. Il
progetto sviluppato a partire dal
1999 conta oggi su una comunità
molto vasta.

4. 4
Una delle caratteristiche principali di Moodle rispetto ad altri sistemi è la forte attenzione dedicata agli
aspetti pedagogici dell’apprendimento mediato dalle tecnologie. L’ampiezza della sua comunità di sviluppo,
inoltre, assicura qualità e continuità del progetto.
Schematizzando, anche se l’attenzione dedicata alla conformità alle specifiche sull’accessibilità non è
alta, i principali vantaggi di questa piattaforma sono:
il promuovere una pedagogia costruzionista sociale (basata sulla collaborazione, sulle attività, sulla
riflessione critica, ecc.), offrendo un sistema intuitivo e semplice da utilizzare che è, al tempo
stesso, flessibile e idoneo per diverse modalità di erogazione della didattica;
l’ambiente può essere utilizzato a vari livelli di complessità, con una curva di apprendimento molto
dolce;
l’interfaccia browser è a tecnologia non avanzata, semplice, leggera, efficiente e compatibile con
altri sistemi.
La piattaforma, infine, permette di categorizzare e ricercare i corsi, consente una gestione delle
funzionalità a plugin e rilevanti sono le sue misure di sicurezza.
1.2 Criteri di selezione
La scelta degli LMS su cui effettuare la sperimentazione è stata effettuata in base a 3 criteri principali:
conformità agli standard per il contenuto,
estensione della comunità e diffusione a livello nazionale,
corrispondenza ai requisiti di accessibilità.
1.2.1 Conformità agli standard per il contenuto
Il rispetto degli standard e delle specifiche internazionali di riferimento per l’e-learning (non solo
SCORM ma anche IMS, AICC, ecc.) è stato uno dei criteri fondamentali in base ai quali sono state scelte le
piattaforme. La compatibilità di un LMS con gli standard internazionali, infatti, è garanzia per chi la adotta di
non avere a che fare con un sistema chiuso ma aperto, in grado di dialogare con componenti software di
parti terze e di erogare materiali didattici diversi, anch’essi compatibili con gli standard.
Per raggiungere questi obiettivi di interoperabilità delle piattaforme e interscambiabilità dei contenuti,
attualmente molteplici organizzazioni internazionali e nazionali sono al lavoro per la definizione di standard
che, per quanto riguarda il contenuto, mirano a definire criteri relativi al formato, al packaging,
all’organizzazione, alla catalogazione e alla gestione da parte di piattaforme integrate; mentre, per quanto
riguarda gli LMS, hanno l’obiettivo di individuare specifiche tecniche che consentano il trasferimento dei dati
relativi agli utenti. Lo scopo è svincolare l’e-learning da qualsiasi limite tecnico che possa ostacolare lo
scambio di informazioni. Raggiungere questo obiettivo non è un’impresa facile e, ad oggi, di fatto non esiste
un unico standard universalmente affermato e riconosciuto in ambito internazionale2
. Per questo motivo la
compatibilità di una piattaforma con un numero maggiore di standard offre una garanzia più elevata circa la
sua flessibilità ed apertura.
1.2.2 Estensione della comunità e diffusione a livello nazionale
Di fronte alla necessità di adeguarsi a un nuovo modo di operare e all’utilizzo di sistemi diversi, anche
se con caratteristiche simili, è fondamentale avere la sicurezza circa l’esistenza di qualcuno che possa
garantire l’assistenza e lo sviluppo di questi progetti all’interno di contesti d’uso differenti. A parte il numero
ormai considerevole nel mondo di soggetti che si occupano di tali problematiche, in questo contesto si sono
presi come criteri di riferimento la presenza sul territorio nazionale di una pluralità di soggetti che hanno
adottato la stessa soluzione tecnologica e l’esistenza di una comunità ampia, forte e coesa.
Le persone che hanno deciso di utilizzare lo stesso software OS o che partecipano alla comunità di
riferimento costituiscono una garanzia perché, in qualche modo, assicurano “forme nuove di organizzazione
dei processi di apprendimento collettivo”3
. Esse, condividendo lo stesso interesse per una data soluzione
2
L’unico standard de facto affermatosi in qualche modo a livello internazionale è lo SCORM, Sharable Content Object
Reference Model, che rappresenta una serie di direttive promosse da ADL (Advance Distribuite Learning), istituto di
emanazione del Dipartimento della difesa statunitense. Scorm è, più precisamente, una collezione di standard, specifiche
e raccomandazioni prodotte nel corso di un decennio da altre organizzazioni quali, ad esempio, IMS (Instructional
Management System), Global Learning Consortium, IEEE (Institute of Electrical and Electronics Engineers), ARIANCE
(Alliance for Remote Instructional Authoring and Distribution Networks for Europe). L’obiettivo è costruire un modello di
riferimento unificato che consenta tutti i benefici legati all’adozione di uno standard: persistenza dei contenuti didattici
indipendentemente dal sistema di erogazione, interoperabilità delle piattaforme, accessibilità e riusabilità.
3
Boland R. J., Tenkasi R., “Perspective making and perspective taking in communicates of Knowing” in Organization
Science, vol. 6, n. 4, 1995.

5. 5
tecnologica e in armonia con quella che nella letteratura sul tema viene definita la “dimensione informativa”
la “dimensione partecipativa” di una comunità, sono generalmente ben disposte a condividere informazioni
rilevanti e a rispondere a richieste di aiuto o supporto collaborando nello sviluppo del sistema tecnologico di
riferimento. Per questi motivi, per una PA che decide di adottare una piattaforma OS è fondamentale avere
la sicurezza non solo di un’ampia comunità a cui far riferimento, ma anche di società pubbliche o private
che, avendo saputo cogliere i vantaggi del mondo e della filosofia OS, siano pronte a fornire supporto e
assistenza qualora se ne verifichi il bisogno.
1.2.3 Corrispondenza ai requisiti di accessibilità
La Legge n. 4 del 9 Gennaio 2004, “Disposizioni per favorire l’accesso dei soggetti disabili agli
strumenti informatici”, prende in considerazione l’accesso degli utenti a tutti i prodotti e le tecnologie
informatiche, tenta di promuovere una strategia dell’inclusione che consenta di integrarsi nel mondo delle
nuove tecnologie e si va a sommare alle linee guida per l’accessibilità dei contenuti web introdotte sul piano
internazionale nel 1999 dal W3C4
. Ad essa è seguito un regolamento di attuazione che esplicita i requisiti
tecnici richiesti e che trova applicazione non solo nei siti web, ma anche in altre tipologie di applicazioni
Internet, tra cui le piattaforme e i contenuti e-learning.
L’informatica, le telecomunicazioni e i nuovi media hanno, da un lato, offerto nuove e importanti
possibilità di integrazione sociale per persone non in possesso di tutte le abilità considerate “normali”; ma,
dall’altro, hanno anche posto nuovi problemi di accessibilità5
. Per questo motivo e data l’importanza e la
sensibilità del tema per una Pubblica Amministrazione, la corrispondenza a tali requisiti è stato il terzo
criterio utilizzato per selezionare le piattaforme su cui è stata condotta la sperimentazione.
1.3 Obiettivi e step della sperimentazione
La sperimentazione è stata portata avanti attraverso i seguenti step:
installazione delle due piattaforme su un server;
configurazione del sistema e dell’ambiente tecnologico;
test delle funzionalità delle due piattaforme;
test di usabilità sul campo;
analisi e presentazione dei risultati.
L’obiettivo primario è stato individuare la piattaforma che meglio risponde alle esigenze formative del
Cnipa, in particolare, e di una Pubblica Amministrazione, in generale. A tale scopo, in prima battuta, sono
state analizzate in profondità le necessità del Cnipa che ha avviato lo studio con lo scopo di individuare la
piattaforma migliore per sostituire l’attuale sistema di groupware utilizzato dalla sua comunità di utenti con
un sistema tecnologico facile da usare quanto il precedente, ma più flessibile e performante.
Secondariamente, attraverso un’analisi dei dati disponibili sulla diffusione dell’e-learning nella PA sono state
elaborate tre ipotesi sui contesti e sulle possibili motivazioni che potrebbero portare una Pubblica
Amministrazione alla decisione di adottare una piattaforma e-learning OS.
In particolare, in questo studio si prendono in analisi tre scenari:
Scenario a) denominato “Supportare l’auto-apprendimento”: ci si trova di fronte alla
dinamica classica dell’e-learning dove vi è un ente erogatore della formazione, un numero
variabile di utenti da formare che rappresentano il target di riferimento, un tempo x entro il quale
chiudere il progetto e dei contenuti strutturati da fruire in auto-apprendimento.
Scenario b) denominato “Supportare il blended learning”: presenta una situazione in cui è
fondamentale il ruolo del tutor. Il progetto di formazione si svolge parte in presenza e parte a
distanza, motivo per cui si pone il problema di coordinare i calendari didattici degli eventi previsti
e sincronizzare le diverse attività. In questo caso, i tempi e le modalità di fruizione possono essere
profondamente differenti, così come i materiali didattici presentati in aula e quelli utilizzati a
distanza devono essere complementari o per lo meno correlati tra loro. In questo scenario, è
cruciale la gestione dell’aspetto cronologico e l’organizzazione temporale del progetto, ma
l’aspetto positivo riguarda il fatto che già esiste un gruppo di persone che si conosce e che ha
potuto socializzare in presenza.
Scenario c) denominato “Supportare una comunità virtuale”: presenta la situazione tipica di
una comunità virtuale. Le community on line sono una particolare declinazione del concetto di
4
Il W3C (www.w3c.org) è un consorzio internazionale, fondato nel 1994 da Tim Berners-Lee - l’inventore del World
Wide Web - per guidare e stimolare lo sviluppo tecnico del web, definendo protocolli comuni che assicurino l’evoluzione
congiunta e la compatibilità reciproca di tutte le tecnologie web.
5
Commissione interministeriale permanente per l’impiego ICT a favore delle categorie deboli o svantaggiate, La Legge
Stanca: i riferimenti tecnici, Quaderno CNIPA n. 4, 2005.

6. 6
comunità. Con questo termine si fa riferimento a quelle comunità che nascono e si sviluppano
secondo i principi tipici di una comunità, ma interagiscono in uno spazio virtuale mediato
elettronicamente. Le comunità virtuali sono, infatti, i luoghi dove si mettono in comune le risorse
(la tecnologia), le informazioni (il repertorio), si lavora a distanza (l’impresa comune) e si
socializza (l’impegno). Esse però danno origine a legami deboli di natura connettiva che si
sviluppano attraverso le reti telematiche. Per questo motivo è necessario studiare un modello di
sviluppo organizzativo e tecnologico di tali comunità che da un lato, consenta loro di beneficiare
del network cui appartengono; dall’altro, non ne soffochi l’autonomia e le dinamiche di sviluppo e
funzionamento interno.
E’ stato scelto questo approccio metodologico perché la definizione degli scenari ha un ruolo
fondamentale nella descrizione dell’interazione tra utenti e sistema e offre un'opportunità non trascurabile
per catturare ed individuare in maniera chiara i principali requisiti di un sistema, detti anche richieste
fondanti o claims. Dall’analisi dei claim, infine, scaturiscono i compiti (task) che sono stati elaborati ed
utilizzati per “misurare” la reale rispondenza dei sistemi presi in analisi ai requisiti individuati in fase di
progettazione della sperimentazione.
1.4 Strumenti di raccolta dati
Prendendo in considerazione i tre scenari sopra descritti, le due piattaforme sono state valutate e
comparate attraverso due strumenti: una griglia di valutazione e una serie di test di usabilità.
La griglia è stata progettata e redatta basandosi da un alto, sull’analisi dei requisiti fondamentali
richiesti dalla sperimentazione; dall’altro, attraverso uno studio approfondito e una sintesi dei criteri adottati
nelle principali ricerche e studi presenti nella letteratura scientifica sul tema. L’obiettivo della griglia che è
stata elaborata è permettere di ottenere indici sintetici per ciascuna delle aree di valutazione prese in
considerazione (9 macrocategorie composte al loro interno da fattori o items aventi pesi differenti). Essa ha
permesso di attribuire un valore a ciascun item, utilizzando una scala di valutazione da 1 a 3.
Successivamente, tali punteggi sono stati sottoposti all’elaborazione di un foglio di calcolo attraverso il quale
si è ottenuto un valore sintetico per ciascuna categoria. In questo modo, ogni piattaforma è stata “collocata”
su una scala ordinata di valori, generale o relativa alle singole categorie.
Oltre a questo, si è deciso di testare gli LMS con utenti potenziali con l’obiettivo di ottenere indicazioni
precise circa i reali difetti del sistema. Considerando l’usabilità come la chiave di interpretazione del rapporto
tra sistema e utente, si è cercato di misurare la capacità degli LMS presi in considerazione di mediare
l’interscambio comunicativo con l’utente, ovvero la capacità dell’artefatto tecnologico di rendere possibili
interazioni complesse, senza problemi e senza aver bisogno della mediazione di altri esseri umani più
esperti6
. Tale misurazione è stata effettuata attraverso lo svolgimento di 15 test (5 per ciascun profilo:
discente, tutor e docente)7
con utenti - selezionati tra quelli potenziali e in base a variabili specifiche -
chiamati a svolgere una serie di compiti stabiliti attraverso l’analisi degli scenari presi in considerazione. I
test di usabilità che sono stati condotti rientrano nella metodologia della task analysis che permette una
rilevazione quantitativa e comparativa delle caratteristiche di usabilità di un sistema. Inoltre tale metodologia
è stata arricchita utilizzando l’aspetto fondamentale della metodologia nota con il nome di thinking aloud,
che consiste nel far verbalizzare agli utenti quello che pensano durante l’esecuzione di una attività o di un
compito. Il motivo per cui è stata utilizzata anche questa tecnica sta nella volontà di far emergere attraverso
i test le logiche di interazione e il modello d’uso del sistema da parte dell’utente. Le metriche di valutazione
dell’usabilità utilizzate per i test sono, in armonia con la normativa ISO, efficacia, efficienza e soddisfazione.
Tali metriche sono state misurate attraverso: il tempo impiegato dall’utente per eseguire un compito; il
numero di errori commessi nell’esecuzione di un compito e la registrazione delle reazioni dell’utente
attraverso la trascrizione dei commenti fatti a voce alta durante il test e l’elaborazione dei dati raccolti
mediante il questionario SUS (System Usability Scale) somministrato al termine del test stesso. Nel prendere
in considerazione queste metriche è stata prestata attenzione, inoltre, alla differenza esistente tra i concetti
di facilità d’uso e facilità di apprendimento.
Dopo la conduzione dei test, i dati raccolti sono stati elaborati e sintetizzati. Attraverso questo
rapporto si presentano i principali risultati della sperimentazione letti alla luce dei tre scenari ipotizzati.
6
Visciola M., Usabilità dei siti web, Apogeo, Milano, 2000.
7
Il numero di test (15 totali, 5 per ciascun profilo) è stato stabilito in armonia con la letteratura sul tema e, in
particolare, con quanto affermato da Jacob Nielsen in un recente articolo pubblicato su internet
(www.usei.com/alertbox/20000319.html). Secondo l’autore, per i test di usabilità, la soluzione ottimale in termini di
costi/benefici è esaminare circa cinque utenti per ogni serie di test e, quindi, per ciascun profilo preso in considerazione.

7. 7
Capitolo 2 - Risultati dei test di usabilità
2.1 Introduzione
Di seguito vengono illustrati i risultati dei test di usabilità, prendendo in analisi i profili e le categorie
relative ai casi d’uso presi in analisi:
Casi d’uso Profili
Creazione e strutturazione di un corso Docente
Creazione e strutturazione di una unità didattica Docente
Creazione e verifica di un questionario di valutazione Docente
Strutturazione delle attività didattiche Tutor
Tracciamento Tutor
Predisposizione dei materiali didattici Tutor
Fruizione del corso Discente
Condivisione di documenti Discente
Partecipazione alle attività didattiche Discente
Monitoraggio delle attività svolte Discente
Per ciascuna voce elencata e, quindi, per ciascun caso d’uso, si descrive in dettaglio come si sono
“comportate” Atutor e Moodle, osservando i grafici riportati - che evidenziano e mettono a confronto il
tempo impiegato e il numero di errori commessi dagli utenti per eseguire lo stesso task sulle due piattaforme
analizzate - e gli screenshot relativi alle pagine specifiche implicate nell’esecuzione dei task.
Dato che la piattaforma scelta sulla base della presente comparazione dovrà essere utilizzata da
dipendenti di pubbliche amministrazioni, caratterizzati da disomogeneità di competenze informatiche e da
scarsa motivazione, l’accento è stato posto sulle caratteristiche relative alla facilità di apprendimento e alla
facilità d’uso dei sistemi, misurate attraverso la quantificazione del tempo impiegato e del numero di errori
effettuati nell’eseguire i task prescritti.

8. 8
2.1.1 Creazione e strutturazione di un corso – profilo docente
Nell’esecuzione del task, Atutor si dimostra più semplice e veloce da utilizzare (cfr. Fig. 1), mentre
Moodle risulta più complesso sia per il maggior numero di parametri da impostare, sia per una distribuzione
dei comandi dalla comprensione non immediata che ha generato negli utenti qualche confusione. In
particolare, durante l’esecuzione del test su quest’ultima piattaforma, è stato notato un uso ricorrente e
costante da parte dell’utente al sistema di help (cfr. Fig. 2), nel tentativo di reperire informazioni utili allo
svolgimento delle operazioni richieste.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 1: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di un corso

9. 9
Figura n. 1: Atutor – Pagina per la creazione di un nuovo corso
Figura n. 2: Moodle – Pagina per la creazione di un nuovo corso

10. 10
2.2.2 Creazione e strutturazione di una unità didattica – profilo docente
Per entrambe le piattaforme è stata verificata una esecuzione difficoltosa del task.
Per Moodle il problema principale è rappresentato dalla comprensione della procedura di caricamento
degli oggetti SCORM soprattutto in relazione al fatto che l’upload del pacchetto SCORM consente solo di
caricare il file sul server, mentre gli utenti hanno evidenziato come ci si aspettasse che i contenuti caricati
fossero già “visibili” subito dopo l’upload senza la necessità del secondo passaggio per “collegare” il corso
creato al file caricato (cfr. Fig. 4). Per Atutor la presenza della sezione “Archivi” (che consente
esclusivamente di caricare e non di gestire un pacchetto SCORM) ha generato confusione ed errori (cfr. Fig.
3). Una volta compresa la corretta procedura di inserimento dei file, Atutor si è dimostrata più completa ed
intuitiva di Moodle anche se, come è possibile vedere attraverso i grafici riportati di seguito, il “collo di
bottiglia” iniziale ne ha penalizzato fortemente le prestazioni.
Per quanto riguarda l’articolazione dei materiali si segnala l’impossibilità, su Moodle, di utilizzare i
singoli oggetti SCORM come unità di contenuto da utilizzare insieme ad altre pagine prodotte con l’editor
della piattaforma. Questa criticità ha imposto di utilizzare degli “stratagemmi” (come, ad esempio, la
creazione di pagine html con link all’indirizzo web del singolo oggetto SCORM) che hanno generato molti
errori e, soprattutto, un risultato, in termini didattici, assolutamente non efficace. Da questo punto di vista,
l’utilizzo di Atutor risulta sicuramente più performante. In ultimo, si segnala che, per entrambe le
piattaforme, questo task ha richiesto conoscenze di basi di html per poter agire con sicurezza.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 2: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di una unità didattica

11. 11
Figura n. 3: Atutor – Pagina di gestione del corso
Figura n. 4: Moodle – Pagina per l’importazione di un contenuto Scorm

12. 12
2.2.3 Creazione e verifica di un questionario di valutazione – profilo docente
Entrambe le piattaforme si sono dimostrate molto veloci ed intuitive nell’esecuzione di questo task,
anche se il maggior numero di impostazioni presenti su Moodle ha determinato un tempo di realizzazione del
task più elevato (cfr. Fig. 6). L’estrema praticità di Atutor, invece, viene penalizzata dall’impossibilità di
impostare meccanismi di feedback più elaborati rispetto alla semplice segnalazione della risposta corretta
(cfr. Fig. 5). In definitiva, le potenzialità di Moodle, anche se rallentano l’esecuzione, permettono di creare
test didatticamente molto efficaci senza generare particolari incomprensioni o errori (anche grazie alla
presenza dell’help contestuale per ogni voce).
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 3: Facilità d'uso (efficacia ed efficienza) nella creazione e verifica di un questionario di valutazione

13. 13
Figura n. 5: Atutor – Pagina per la creazione di un test
Figura n. 6: Moodle – Pagina per la creazione di un test

14. 14
2.2.4 Strutturazione delle attività didattiche – profilo tutor
Moodle si dimostra più intuitivo di Atutor nell’esecuzione di questo task sia per una disposizione dei
comandi che permette un minor numero di passaggi (cfr. Fig. 8), sia per una maggiore integrazione e
visibilità delle funzionalità. Atutor, invece, è penalizzato da un livello di integrazione ancora non efficace con
il modulo Acollab (cfr. Fig. 7) che genera confusione soprattutto durante il primo approccio con il sistema e
con il task richiesto.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 4: Facilità d'uso (efficacia ed efficienza) nella Strutturazione delle attività didattiche

15. 15
Figura n. 7: Atutor – Pagina per la creazione di un nuovo evento
Figura n. 8: Moodle – Comandi necessari all’esecuzione del task “Strutturazione delle attività didattiche”

16. 16
2.2.5 Tracciamento – profilo tutor
Moodle si dimostra decisamente più veloce ed intuitivo di Atutor nonostante presenti funzionalità più
complesse. Durante l’esecuzione del test, per Moodle viene molto apprezzata la modalità di concentrazione
dei dati in un’unica sezione (cfr. Fig. 10) che permette una lettura complessiva delle attività svolte con una
sorta di effetto “panoramica” molto utile, oltre al fatto di generare un numero di errori trascurabile. Per
Atutor, invece, è necessario spostarsi in tre sezioni (cfr. Fig. 9) per poter avere un quadro delle attività
svolte. Questa lettura frazionata genera sia errori nell’individuazione della giusta sezione dove reperire
l’informazione, sia un tempo di esecuzione del task decisamente superiore.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 5: Facilità d'uso (efficacia ed efficienza) nel Tracciamento

17. 17
Figura n. 9: Atutor - Comandi necessari all’esecuzione del task “Tracciamento”
Figura n. 10: Moodle – Pagina di visualizzazione delle statistiche

18. 18
2.2.6 Predisposizione dei materiali didattici – profilo tutor
Atutor, grazie all’utilizzo del modulo Acollab (cfr. Fig. 11), risulta essere molto più intuitivo e veloce
nell’esecuzione di questo task in quanto riesce a concentrare e a rendere più “visibili” le operazioni da
compiere. Moodle, invece, è penalizzato da una eccessiva laboriosità che genera molti errori (cfr. Fig. 12).
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 6: Facilità d'uso (efficacia ed efficienza) nella Predisposizione dei materiali didattici

19. 19
Figura n. 11: Atutor – Pagina per il caricamento di file in cartelle private e/o pubbliche
Figura n. 12: Moodle – Pagina per il caricamento di file in cartelle

20. 20
2.2.7 Fruizione del corso – profilo discente
Atutor risulta essere più intuitivo di Moodle nell’esecuzione di questo task soprattutto per una
impostazione dell’interfaccia (cfr. Fig. 13) che consente una visione più immediata dei comandi e una lettura
d’insieme più veloce ed efficace. Moodle, invece, decontestualizza completamente la fruizione delle unità
didattiche (cfr. Fig. 14) non permettendone l’integrazione con gli altri contenuti ed attività presenti sulla
home page del corso.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 7: Facilità d'apprendimento (efficacia ed efficienza) nella Fruizione del corso

21. 21
Figura n. 13: Atutor – Pagina per la fruizione del corso
Figura n. 14: Moodle – Pagina per la fruizione del corso

22. 22
2.2.8 Condivisione di documenti – profilo discente
Atutor risulta nettamente superiore nell’esecuzione di questo task grazie al modulo Acollab che,
nonostante un approccio iniziale abbastanza “ostico”, permette di accentrare le funzionalità e supportare
correttamente le dinamiche di groupware (cfr. Fig. 15). Moodle, invece, è penalizzato dalla dispersione delle
funzionalità che genera confusione ed errori e, soprattutto, dalla mancanza di un sistema per la gestione,
anche condivisa, dei file. Ad oggi è necessario servirsi del forum per poter scambiare file con gli altri membri
della comunità (cfr. Fig. 16) con la conseguente impossibilità di gestire e strutturare questo processo e con
la difficoltà, per i discenti, di utilizzare al meglio questo aspetto.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 8: Facilità d'apprendimento (efficacia ed efficienza) nella Condivisione di documenti

23. 23
Figura n. 15: Atutor – Pagina per il caricamento di un file da parte del discente
Figura n. 16: Moodle – Pagina per il caricamento di un file da parte del discente

24. 24
2.2.9 Partecipazione alle attività didattiche – profilo discente
Moodle risulta essere più veloce ed intuitivo di Atutor in quanto permette di visualizzare
contemporaneamente la maggior parte delle informazioni necessarie alla realizzazione di questo task (cfr.
Fig. 18). Questa impostazione genera una buona rapidità di esecuzione ed è stata molta apprezzata durante
l’esecuzione del test. Atutor, invece, è penalizzato dal “dualismo” che genera la presenza del modulo Acollab
ancora non perfettamente integrato nei meccanismi della piattaforma (cfr. Fig 17). Ancora una volta,
comunque, superato l’impatto iniziale, Acollab permette di svolgere egregiamente le operazioni richieste.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 9: Facilità d'apprendimento (efficacia ed efficienza) nella Partecipazione alle attività didattiche

25. 25
Figura n. 17: Atutor – Homepage di Acollab
Figura n. 18: Moodle – Homepage di Moodle

26. 26
2.2.10 Monitoraggio delle attività svolte – profilo discente
Moodle si dimostra più intuitivo nel concentrare la visualizzazione dei dati in un’unica sezione (cfr. Fig.
20), dando la possibilità al discente di monitorare con estrema precisione e dovizia di dati l’intera gamma
delle attività svolte.
Atutor costringe il discente ad una lettura dei dati “distribuita” (contenuti, test, ecc.) e quindi meno
agevole ed intuitiva. Inoltre, la sezione “Statistiche Personali” (cfr. Fig. 19) è focalizzata soprattutto sui dati
relativi alla fruizione delle singole pagine di contenuto e non riesce ad evidenziare l’insieme delle attività
svolte.
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Moodle
Atutor
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Moodle
Atutor
Grafico 10: Facilità d'apprendimento (efficacia ed efficienza) nel Monitoraggio delle attività svolte

27. 27
Figura n. 19: Atutor – Pagina “Statistiche Personali”
Figura n. 20: Moodle – Pagina “Rapporto delle attività”

28. 28
2.3 Valutazione dell’usabilità percepita
Una volta terminato il test di usabilità è stato somministrato un questionario per la valutazione
dell’usabilità percepita (per maggiori informazioni cfr. § “Appendice 4: questionario SUS”).
L’elaborazione dei dati mostra come Moodle venga percepito complessivamente come un sistema più
semplice ed intuitivo da utilizzare; come uno strumento dotato di un “feeling” maggiore e che necessita di
minor pratica per essere utilizzato al meglio.
Si ritiene, comunque, che buona parte del vantaggio di Moodle rispetto ad Atutor nella percezione
degli utenti sia dovuto alla integrazione parziale del modulo Acollab che ha generato molta confusione e che
è stato percepito come una sorta di “sistema nel sistema” difficile da gestire.
Valutazione dell'usabilità percepita (in %)
0 20 40 60 80 100
Moodle
Atutor
Grafico 11: Facilità d’apprendimento e soddisfazione nell'utilizzo delle 2 piattaforme

29. 29
2.4 Risultati e valutazioni complessive
Effettuati i test ed analizzati i risultati task per task si è cercato di leggere in maniera traversale i dati
raccolti attraverso i test di usabilità. Considerando il tempo impiegato nel completamento dei task come
indicatore dell’efficienza del sistema (cfr. grafico n. 12) e il numero di errori effettuati come indicatore
dell’efficacia dello stesso (cfr. grafico n. 13), è possibile affermare che nessuna delle due piattaforme
predomina in maniera netta sull’altra.
Grafico 12: Sintesi tempo impiegato nell’esecuzione dei task
Tempo impiegato nel completamento del task (in min)
0 2 4 6 8 10
Creazione e strutturazione di un corso
Creazione e strutturazione di una unità
didattica
Creazione e verifica di un questionario
di valutazione
Strutturazione delle attività didattiche
Tracciamento
Predisposizione dei materiali didattici
Fruizione del corso
Condivisione di documenti
Partecipazione alle attività didattiche
Monitoraggio delle attività svolte
Moodle
Atutor

30. 30
Grafico 13: Sintesi numero di errori effettuati nell’esecuzione dei task
In generale è possibile sostenere che il campione di utenti preso in considerazione ha mostrato di
trovare difficoltà maggiori laddove gli strumenti e le funzionalità delle due piattaforme erano “nascosti”,
annidati l’uno dentro l’altro o distribuiti spazialmente e quindi difficilmente individuabili dal punto di vista
visivo. L’interazione ideale è quella che si verifica in un sistema in cui gli strumenti sono raggruppati non solo
da un punto di vista spaziale (collocazione dei comandi sull’interfaccia), ma anche e soprattutto dal punto di
vista relativo all’omogeneità e alla effettiva correlazione delle funzionalità.
I risultati dei test, inoltre, possono essere letti anche dal punto di vista dei parametri relativi alla
facilità d’uso e alla facilità di apprendimento8
. Dalle analisi dei dati raccolti, mentre ATutor è più efficace dal
punto di vista della facilità d’uso (lato docente e tutor), Moodle risulta più efficace per quanto riguarda la
facilità di apprendimento (lato discente). Questo risultato è rafforzato anche dai dati relativi all’usabilità
percepita dagli utenti e misurata attraverso il questionario SUS (cfr. § “Appendice 4: questionario SUS”).
La maggiore facilità d’uso di Atutor è dovuta alla sua impostazione decisamente “tradizionale” (cfr. Fig.
21) con il menu principale orizzontale che racchiude tutte le funzionalità fondamentali e con la colonna di
destra che visualizza gli strumenti più utili durante la fruizione (navigazione dei contenuti, motore di ricerca,
voci di glossario, ecc.). Questa struttura permette una rapida memorizzazione dei comandi e, soprattutto,
un’ottima contestualizzazione delle attività e dei contenuti che risultano sempre compresi in un’area (“Area di
fruizione” in Fig. 21) delimitata dal menu principale e dalla colonna degli strumenti. Da questo punto di vista,
come più volte evidenziato, Atutor subisce una penalizzazione a causa dell’integrazione ancora non efficace
con Acollab, la cui logica di utilizzo è quella di uno strumento “standalone” che genera delle interazioni
“sovrapposte” e quindi non coordinate a quelle praticate su Atutor.
8
La facilità d’uso si focalizza sull’utilizzo del sistema da parte di utenti esperti, ovvero i profili relativi a docente e tutor;
mentre la facilità di apprendimento riguarda gli utenti con poca esperienza, ovvero il profilo discente.
Numero di errori fatti nell’esecuzione del task
0 2 4 6 8 10
Creazione e strutturazione di un corso
Creazione e strutturazione di una unità
didattica
Creazione e verifica di un questionario di
valutazione
Strutturazione delle attività didattiche
Tracciamento
Predisposizione dei materiali didattici
Fruizione del corso
Condivisione di documenti
Partecipazione alle attività didattiche
Monitoraggio delle attività svolte
Moodle
Atutor

31. 31
Figura n. 21: Atutor – Homepage
La maggior efficacia di Moodle per quanto riguarda la facilità di apprendimento è dovuta, invece,
proprio alla sua struttura modulare o a blocchi (cfr. Fig. 22) che permette di raggruppare comandi e
funzionalità sia spazialmente, che concettualmente.
Il discente, quindi, dispone di una mappatura completa dei contenuti e delle informazioni rilevanti e
può coordinare in maniera immediata le operazioni relative ad attività di comunicazione e collaborazione con
gli altri membri della comunità. Questa impostazione presenta comunque alcune criticità dovute al fatto che,
cliccando sui comandi di ogni blocco, si entra in sezioni dove le funzionalità sono visualizzate in maniera
indipendente dal resto dell’interfaccia e, quindi, decontestualizzate.
Questo meccanismo comporta una interazione incentrata sul navigatore che visualizza il percorso
effettuato (es. Categoria del corso> Nome del corso> Calendario) e che può generare confusione ed errori
nell’individuazione dei contenuti desiderati.

32. 32
Figura n. 22: Moodle – Homepage
In conclusione, è importante sottolineare che quanto affermato deriva non solo dall’analisi dei dati
raccolti e relativi al numero di errori e al tempo impiegato per l’esecuzione dei task, ma anche dai commenti
e dalle indicazioni fornite dagli utenti durante lo svolgimento dei test e dalle valutazioni finali effettuate dal
team che ha realizzato il benchmark.

33. 33
Capitolo 3 - La griglia di valutazione
3.1 Introduzione
La griglia di valutazione è stata progettata basandosi sull’analisi dei requisiti fondamentali richiesti
dalla sperimentazione con l’obiettivo di identificare i criteri e gli aspetti principali coinvolti nell’utilizzo di una
piattaforma LMS.
Essa è stata ottenuta, inoltre, attraverso uno studio approfondito e una sintesi dei criteri adottati nei
seguenti studi e ricerche:
Benchmark di piattaforme e-learning realizzato da Andrea Massara, Antonella Pizzaleo, Giorgio
Venturi per il Ministero degli Affari Esteri nell’ambito del progetto ITENETS;
Griglia di analisi utilizzata da Brandon Hall Research (http://www.brandon-hall.com);
Studio sull’adozione di un sistema E-LEARNING per la pubblica Amministrazione realizzato dalla
Dr.ssa Marzia Lavinia Frezza, Unità Tecnica Finanza di Progetto Marzo 2005;
Benchmark effettuato da: società 3waynet per il "Commonwealth of Learning";
Benchmark effettuato per: OPENSOURCE COURSEWARE da Rob Reynolds della società Xplana;
Benchmark effettuato per: SELECTION OF AN OPENSOURCE VIRTUAL LEARNING ENVIRONMENT
FOR UNIVERSITAT JAUME I dal CENT;
Benchmark effettuato per: SIGOSEE - JOIN PROJECT nell’ambito del progetto Join;
Benchmark effettuato per: www.edutools.info dalla Western Cooperative for Educational
Telecommunications, (WCET) un unione di università e esperti del settore;
Benchmark effettuato da: e-learning Lab, Università di Bologna.
L’obiettivo principale della griglia elaborata è permettere di ottenere indici sintetici per ciascuna delle
aree di valutazione prese in considerazione:
1. piattaforma tecnologica;
2. strumenti per l'amministrazione;
3. sviluppo e gestione del contenuto;
4. strumenti per l'erogazione didattica;
5. supporto agli standard;
6. strumenti per la comunicazione e l'interazione;
7. strumenti per la produttività;
8. strumenti a disposizione del discente;
9. supporto.
Per una descrizione approfondita del significato di ciascuna categoria di analisi, consultare il rapporto
sulla metodologia. Gli items compresi all’interno di ciascuna area di valutazione sono consultabili nel §
“Appendice 3: griglia di valutazione”.

34. 34
3.1.1 Piattaforma tecnologica
► Fattori relativi a caratteristiche tecniche, come il supporto di diversi tipi di server e/o database o a
caratteristiche di progettazione del sistema, come la modularità, la portabilità e la flessibilità di integrazione.
In generale, queste caratteristiche sono di fondamentale importanza per valutare la qualità del sistema da
un punto di vista tecnologico, di sviluppo e scalabilità.
In questa categoria Moodle e Autor offrono prestazioni simili, anche se Moodle presenta una flessibilità
maggiore per i requisiti lato server ed una migliore modularità nella scrittura del codice.
Moodle
Atutor
Grafico 14: comparazione della piattaforma tecnologica
3.1.2 Strumenti per l'amministrazione
► Fattori relativi a caratteristiche che permettono di gestire efficacemente le procedure di accesso al
sistema e la customizzazione grafica, la modularità del sistema dei ruoli e dei permessi e i processi legati alla
gestione delle competenze e della relativa certificazione.
Anche per questa categoria le prestazioni sono molto simili e anche qui Moodle offre alcuni vantaggi
legati sia alle procedure di autenticazione, sia alla gestione delle competenze acquisite durante la fruizione
didattica. Entrambe le piattaforme sono carenti per quanto riguarda la certificazione delle attività svolte.
Moodle
Atutor
Grafico 15: comparazione degli strumenti per l'amministratore
Insufficiente sufficiente ottimale
Insufficiente sufficiente ottimale

35. 35
3.1.3 Sviluppo e gestione del contenuto
► Fattori relativi alle potenzialità della piattaforma in termini di creazione (authoring) e gestione
(management) del contenuto. Vengono valutati attentamente gli aspetti relativi alla condivisione e al riuso
del contenuto, alla capacità di creare percorsi di apprendimento e alle modalità di archiviazione.
In questa categoria, Atutor si dimostra superiore a Moodle sia per quanto riguarda la creazione e la
gestione del contenuto, sia soprattutto per le modalità di archiviazione del contenuto. Atutor, inoltre,
presenta alcune funzionalità di creazione di percorsi didattici più efficaci rispetto ai requisiti fondamentali
individuati per questa sperimentazione.
Moodle
Atutor
Grafico 16: comparazione dello Sviluppo e gestione del contenuto
3.1.4 Strumenti per l'erogazione didattica
► Fattori rilevanti nel processo di erogazione didattica come la gestione dei corsi, il sistema di help, gli
strumenti per la valutazione in itinere e complessiva, la capacità di gestire gruppi di lavoro e la reportistica.
Moodle si dimostra nettamente superiore ad Atutor per quanto concerne gli strumenti e le funzionalità
relative alle modalità di erogazione della didattica. Oltre a ciò, è importante evidenziare come Moodle
presenti anche un vantaggio significativo per quanto riguarda gli strumenti per la valutazione e per il
monitoraggio delle attività svolte da singoli utenti o gruppi di lavoro.
Moodle
Atutor
Grafico 17: comparazione degli Strumenti per l'erogazione didattica
Insufficiente sufficiente ottimale
Insufficiente sufficiente ottimale

36. 36
3.1.5 Supporto agli standard
► Fattori relativi agli standard di e-learning e di accessibilità supportati.
In questa categoria Atutor presenta una superiorità schiacciante rispetto a Moodle, soprattutto per
quanto riguarda il recepimento dei requisiti legati all’accessibilità.
Moodle
Atutor
Grafico 18: comparazione del supporto agli standard
3.1.6 Strumenti per la comunicazione e l'interazione
► Fattori relativi agli strumenti di supporto ai processi di comunicazione e interazione all’interno della
piattaforma con particolare attenzione alle caratteristiche del forum, del sistema di messaggistica interna e
alle procedure di scambio dei file.
In questa categoria Atutor mostra un leggero vantaggio dovuto, soprattutto, al modulo Acollab che
permette di gestire in maniera accentrata gli strumenti di supporto alle attività di comunicazione e
interazione all’interno della comunità. Moodle è carente nella gestione dello scambio dei file anche se, per
quanto riguarda le altre funzionalità, può essere considerato allo stesso livello di Atutor.
Moodle
Atutor
Grafico 19: comparazione degli Strumenti per la comunicazione e l'interazione
Insufficiente sufficiente ottimale
Insufficiente sufficiente ottimale

37. 37
3.1.7 Strumenti per la produttività
► Fattori che supportano le attività di lavoro “quotidiano” sul sistema come le funzionalità di ricerca, la
scansione temporale attraverso il calendario e il monitoraggio costante dell’avanzamento del lavoro svolto.
In questa categoria Atutor mostra un leggero vantaggio legato alle funzionalità di ricerca mentre,
sostanzialmente, si equivale con Moodle per quanto riguarda gli altri aspetti valutati.
Moodle
Atutor
Grafico 20: comparazione degli Strumenti per la produttività
3.1.8 Strumenti a disposizione del discente
► Fattori relativi agli strumenti che il discente utilizza per “adeguare” l’interfaccia alle proprie esigenze, per
strutturare le proprie attività e per relazionarsi con gli altri membri della comunità.
In questa categoria Moodle ed Atutor si equivalgono anche se Moodle è leggermente avvantaggiato
dal fatto che la filosofia con cui è costruito permette una integrazione coerente degli strumenti a disposizione
del discente; mentre Autor è penalizzato da una integrazione ancora insufficiente del modulo Acollab.
Moodle
Atutor
Grafico 21: comparazione degli Strumenti a disposizione del discente
Insufficiente sufficiente ottimale
Insufficiente sufficiente ottimale

38. 38
3.1.9 Supporto
► Fattori relativi alle potenzialità di evoluzione del sistema legate alla comunità degli sviluppatori, a una
ampia adozione in organizzazioni simili e alla disponibilità di partners commerciali.
In questa categoria il vantaggio di Moodle viene spiegato dalla presenza di una comunità di sviluppo
più ampia e variegata e da una diffusione presso organizzazioni ed enti più proficua nel medio termine.
Moodle
Atutor
Grafico 22: comparazione del supporto
Insufficiente sufficiente ottimale

39. 39
Capitolo 4 - Valutazioni complessive
A conclusione della sperimentazione, si sintetizzano i risultati complessivi ottenuti attraverso la
raccolta delle informazioni generali e l’analisi dei dati relativi alla griglia di valutazione e ai test di usabilità.
Dato che l’obiettivo della sperimentazione è stato individuare la piattaforma che meglio risponde alle
esigenze formative del CNIPA, in particolare, e di una Pubblica Amministrazione in generale, si riportano le
valutazioni complessive alla luce dei tre scenari di analisi presi in considerazione:
Scenario a) - Supportare l’autoapprendimento
Scenario b) - Supportare il blended learning
Scenario c) - Supportare una comunità virtuale
In particolare:
a) Per lo scenario “supportare l’auto-apprendimento” la piattaforma che meglio risponde alle
esigenze tipiche di un corso di formazione erogato completamente a distanza e in auto-
apprendimento è Atutor. Il motivo sta nel fatto che, dal punto di vista della creazione e gestione
del contenuto, la piattaforma permette di creare una libreria di oggetti compatibile con gli
standard relativi sia all’e-learning, che all’accessibilità e perfettamente integrabili con gli strumenti
di authoring interni. Inoltre, dal punto di vista della fruizione da parte dell’utente, essa permette
una integrazione efficace dei diversi “oggetti” didattici presenti in un corso a distanza: learning
object, glossario, test di valutazione, ecc. In aggiunta offre funzionalità di ricerca efficaci ed estese
a tutto il contenuto che consentono di effettuare una ricerca trasversale come se l’utente si
trovasse all’interno di una vera e propria libreria digitale.
b) Per lo scenario “supportare il blended learning” la piattaforma più adeguata è Moodle
perché riesce a soddisfare pienamente le dinamiche relative alla sincronizzazione di un flusso
eterogeneo di eventi didattici e alla integrazione delle attività svolte in presenza e/o a distanza.
Inoltre, nonostante l’esistenza per questo scenario di materiali didattici di diversa natura utilizzati
in situazioni differenti, la piattaforma consente di organizzarli e gestirli in maniera integrata e
complementare offrendo all’utente la possibilità di individuare facilmente le relazioni e la natura del
materiale didattico che ha a disposizione. In aggiunta, la piattaforma consente di gestire ed
organizzare una attività di tutoring efficiente e “modulabile”, tarando gli interventi di assistenza e
di tutoraggio in maniera didatticamente significativa a seconda degli utenti, delle situazioni e dei
contesti.
c) Per lo scenario “supportare una comunità virtuale”, infine, le due piattaforme sembrano
equivalersi utilizzando, però, delle prospettive diverse. Moodle permette un tracciamento delle
attività completo e aderente alle esigenze individuate per questo scenario (i dati vengono
accentrati in un’unica sezione, sono più leggibili e di conseguenza è più facile supportare le
dinamiche tipiche di una comunità on line). La piattaforma, inoltre, è costruita secondo una
filosofia costruttivista, pensata per supportare e favorire le relazioni a distanza tra tutti i membri di
una comunità. Sotto questo punto di vista, Moodle, attraverso un’interfaccia intuitiva e semplice da
utilizzare, agevola ed aiuta gli utenti a creare e gestire le relazioni attraverso l’uso di strumenti di
comunicazione e collaborazione differenti. Atutor, invece, supporta in maniera efficace le
dinamiche di una comunità virtuale al pari di quanto garantito da Moodle ma lo fa attraverso
moduli aggiuntivi (in particolare il modulo ACollab), la cui non ancora perfetta integrazione nella
piattaforma penalizza sia il tracciamento delle attività, che la facilità d’uso da parte degli utenti che
non hanno una particolare esperienza nell’utilizzo di queste tecnologie e si avvicinano per la prima
volta a questo strumento.

40. 40
Appendice 1: caratteristiche degli utenti
Profilare il target di un sistema e selezionare il campione su cui condurre l’analisi costituisce l’80%
della qualità di un test di usabilità. Per questo motivo, di seguito si descrive la composizione del campione su
cui è stata condotta la sperimentazione.
Il campione, di quindici utenti (5 per ciascun profilo), è stato individuato sulla base di un processo di
scrematura di 30 utenti, opportunamente “profilati” in seguito ad una analisi effettuata dal team volta a
valutare i parametri individuati attraverso la fase di definizione dei requisiti e dei contesti d’uso su cui si è
basata la sperimentazione. I soggetti su cui è stato condotto il test sono stati selezionati in base a fattori
generici quali il sesso e l’età e a fattori specifici quali il livello di esperienza nell’uso del computer e il livello di
esperienza con i sistemi presi in esame (che in fase di definizione e progettazione del test si è ritenuto
dovesse essere pari a zero). Il campione così determinato è stato sottoposto al test.
Di seguito ogni utente viene definito attraverso un numero progressivo, da uno a quindici: i nomi reali
sono stati chiaramente omessi, per motivi di privacy.
Vengono quindi descritte:
le caratteristiche di ciascun utente, all’interno di una matrice;
la composizione complessiva del campione per sesso, età, attitudine ed esperienza nell’uso del
computer e, in particolare, di internet.
Tabella: Matrice degli utenti valutati
Utenti M/F Età Esperienza nell’uso del computer Ruolo associato
Utente 1 F 1 2 Discente
Utente 2 F 1 2 Discente
Utente 3 M 2 4 Docente
Utente 4 F 1 3 Tutor
Utente 5 F 2 3 Docente
Utente 6 M 2 2 Discente
Utente 7 M 2 2 Discente
Utente 8 M 2 3 Tutor
Utente 9 F 3 3 Tutor
Utente 10 F 3 2 Discente
Utente 11 M 3 4 Tutor
Utente 12 F 2 3 Tutor
Utente 13 M 3 3 Docente
Utente14 F 3 3 Docente
Utente15 M 2 4 Docente
Legenda:
variabile 1 2 3 4 5
Età 18-25 anni 26-40 anni 41-55 anni 56 + anni -
Esperienza
nell’uso del
computer
Bassa Medio bassa Media Medio alta Alta

41. 41
Appendice 2: composizione globale del campione
L’appendice descrive la composizione del campione secondo le variabili di selezione: sesso, età,
competenza ed esperienza nell’uso del personal computer. Si ricorda, inoltre, che tutti gli utenti su cui è
stato condotto il test non avevano mai lavorato sulle due piattaforme su cui è stato condotta la
sperimentazione (Atutor e Moodle).
Composizione del Campione - Sesso
Femmine: 8 -
53%
Maschi: 7 -
47%
Maschi Femmine
Composizione del Campione - Età
41-55 anni: 5 -
33%
18-25 anni: 3 -
20%
26-40 anni: 7 -
47%
18-25 anni 26-40 anni 41-55 anni
Composizione del Campione
Esperienza nell'uso del Computer
Media: 7 -
47%
Medio bassa: 5
- 33%
Medio alta: 3 -
20%
Medio bassa Media Medio alta

42. 42
Appendice 3: scheda di valutazione
Si riporta, a titolo esemplificativo, un estratto della scheda di valutazione utilizzata dal valutatore per “registrare” gli errori e i commenti effettuati
dell’utente durante la procedura di svolgimento del test di usabilità. La scheda di valutazione era composta da tante tabelle come quella riportata, ciascuna
designata alla registrazione dei dati per ciascun task previsto dal test.
Codice Task: 01 ID tester:
Descrizione Task: Leggi la mail contenente le istruzioni per accedere alla piattaforma, vai all’indirizzo fornito, effettua il login e prova a modificare i tuoi dati
personali.
Numero errori effettuati:
Tempo di completamento del task:
Particolari problemi riscontrati:
Annotazioni del valutatore:
Commenti del tester:

43. 43
Appendice 4: questionario SUS
L’appendice riporta il questionario SUS (System Usability Scale) utilizzato durante il test per valutare
una delle principali dimensioni della usability: la soddisfazione, definibile come il piacere che l’utente prova
nell’utilizzare un sistema.
Questionario SUS – System Usability Scale
Nome dell’utente:
……………………………………………
1. Penso che mi piacerebbe utilizzare questo sistema frequentemente
1 2 3 4 5
2. Ho trovato il sistema complesso senza che ce ne fosse bisogno
1 2 3 4 5
3. Ho trovato il sistema molto semplice da usare
1 2 3 4 5
4. Penso che avrei bisogno del supporto di una persona già in grado di utilizzare il sistema
1 2 3 4 5
5. Ho trovato le varie funzionalità del sistema bene integrate
1 2 3 4 5
6. Ho trovato incoerenze tra le varie funzionalità del sistema
1 2 3 4 5
7. Penso che la maggior parte delle persone potrebbero imparare ad utilizzare il sistema facilmente
1 2 3 4 5
8. Ho trovato il sistema molto macchinoso da utilizzare
1 2 3 4 5
9. Ho avuto molta confidenza con il sistema durante l’uso
1 2 3 4 5
10. Ho avuto bisogno di imparare molti processi prima di riuscire ad utilizzare al meglio il sistema
1 2 3 4 5

44. 44
Appendice 5: griglia di valutazione
In questa appendice si riporta la griglia di valutazione completa su cui è stato condotto il benchmark
ovvero l’elenco delle categorie e degli items presenti in ogni macro-categoria della griglia di valutazione:
Piattaforma tecnologica
Requisiti del browser
Requisiti del database
Requisiti del server
Server Unix
Server Windows
Modularità del codice
Integrabilità con altri sistemi
Strumenti per l'amministrazione
Autenticazione
Ruoli e permessi
Registrazione batch
Creazione e gestione dei template
Emissione automatica della certificazione
Gestione delle competenze
Sviluppo e gestione del contenuto
Strumenti per la creazione del contenuto integrati nel sistema
Condivisione e riuso del contenuto
Creazione di sequenze didattiche
Utilizzo di formati multimediali
Repository di materiali didattici
Integrazione con strumenti di authoring esterni
Strumenti per l'erogazione didattica
Gestione dei corsi
Sistema di Help
Strumenti per la valutazione
Tool per la creazione e la gestione di test
Tracciamento delle attività
Capacità di gestire gruppi di lavoro
Reportistica

45. 45
Supporto agli standard
Compatibilità con standard Scorm
Compatibilità con IMS
Compatibilità con Section 508
Rispetta i requisiti richiesti dal WAI
Rispetta i requisiti richiesti dalla legge "Stanca" sull'accessibilità
Strumenti per la comunicazione e l'interazione
Forum
Repository con upload/dowload file
Sistema di messaggistica interna
Annotazioni personali
Chat
Lavagna condivisa
Strumenti per la produttività
Capacità avanzate di ricerca
Calendario
Bookmark
Capacità di monitorare l'avanzamento delle attività
Capacità di lavorare offline
Strumenti a disposizione del discente
Strumenti con funzionalità di groupwork
Strumenti che supportano la costruzione di una comunità
Pagina personale
Autovalutazione
Agenda
Personalizzazione dell'interfaccia
Supporto
Comunità di sviluppo
Partners commerciali
Localizzazione
Diffusione in organizzazioni simili