Presentation of my Phd desfense in OER and repositories in Higher Education context

1. Desenvolupament i reutilització dels recursos
educatius oberts en la docència universitària:
repositoris i usuaris
Doctoranda: Gema Santos-Hermosa
Directors: Dr. Ernest Abadal Falgueras
Dra. Núria Ferran-Ferrer
Doctorat d’Informació i Documentació en la Societat del Coneixement.
Barcelona, 10 de gener de 2018

2. SUMARI
1. INTRODUCCIÓ
1.1. Antecedents / 1.2. Marc teòric / 1.3. Interès de l’estudi / 1.4. Objectius / 1.5. Metodologia / 1.6. Estructura
2. REPOSITORIS EDUCATIUS
2.1. Objectius / 2.2. Indicadors / 2.3. Principals resultats / 2.4. Conclusions / 2.5. Publicació
3. USUARIS
3.1. Objectius / 3.2.Perfil dels enquestats / 3.3. Principals resultats / 3.3. Conclusions / 3.4. Publicació
4. CONCLUSIONS
2

3. 1. INTRODUCCIÓ
3

4. 1. Introducció
Recursos educatius oberts o Open Educational Resources (OER):
“Aquells materials d’ensenyament, aprenentatge i investigació en qualsevol suport que siguin
de domini públic o que hagin estat difosos amb una llicència oberta que permeti l’accés
gratuït, així com l’ús, l’adaptació i la redistribució per d’altres sense cap restricció o amb
restriccions limitades”. (Declaració de la UNESCO, 2012)
4
EDUCATIU
Proveeixen contingut educatiu
Útil per a la docència i l’aprenentatge
OBERT
Lliure accés a continguts i la reutilització
Llicències (Creative Commons)
i permisos (5Rs Wiley) conservar (de Retain)
Reutilitzar
Revisar
Remesclar
Redistribuir
PRÀCTIQUES EDUCATIVES OBERTES
EDUCACIÓ OBERTA

5. 1.1. Antecedents: Trajectòria del moviment
2011-2015: Canvi
d’estratègia
Estratègies i polítiques de
suport
Declaració OER de París (2012)
Implicació dels governs: College
Book Affordability Act, #GoOpen
(EUA), Opening up Education (EU)
MOOCs
2001-2002: Inicis
Establiment de les
bases
MIT Open CourseWare (OCW)
Creative Commons
Fòrum de la UNESCO (2002)
2016 - actualitat: Reorientació
Millora de la pràctica
educativa
Iniciatives de libres de text oberts
2on Congrés mundial de OER (2017)
2004-
2010:Adolescència
Creixement i expansió
Suport d’institucions
internacionals (UNESCO, COL,
OECD) i entitats finançadores
(William &Flora Hewlett Found.)
Declaració Ciutat del Cap (2007)
La meva recerca: Període pertinent per noves aproximacions

6. 1.1. Antecedents: Trajectòria de la recerca
Base teòrica de
coneixement
2002-2006
6
Estudis sobre l’eficàcia dels
OERs
2012-2015
Estudis descriptius i poc
empírics
2006-2012
La meva recerca:
Escenari dinàmic i en línia amb l’impuls a la
integració dels OER contemplat a:
● Full de ruta OER Strategy
Development (2015)
● Pla d’acció de l’UNESCO 2030 Agenda
for Sustainable Development
Full de ruta i plans
estratègics
2015 - 2017
Altres iniciatives: OER World Map, OER
Cloud Knowledge. OER Impact Map, etc.

7. 1.2. Marc teòric
7
Panoràmica
completa
(Tzikopoulos et
al., 2007)
Creació i
ús d’OER
(Open Text
Books)
Garantia de
qualitat (Atenas,
2015; Clemens et al;
2016)Estructura
(McGreal,
2011)
Perfils dins
l’ensenyament
(de los Arcos et
al., 2015)
Directrius de
desenvolupament
(OECD, 2007;
UNESCO, 2011)
Metadades
(Bueno-de la-
Fuente, 2013)
Usuaris
Relació
establerta amb
OERs (Weller et
al, 2016)
Grups d’interès
de suport als
OER (Conole i
Ehlers (2010)
Nivells de
compromís dins
la docència
(Willd, 2012)
Serveis
addicionals
(de los Arcos
et al., 2015;
Zervas et al.,
2014)
Comunitats de
pràctica de
repositoris (Beaven,
2013; Comas-Quinn i
Fitzgerald, 2013;
Pynoo et al., 2012; Xu,
2016).
Repositoris educatius
Pràctiques educatives obertes/
Reutilització
Adopció dels
OER (Wiley,
Bliss i McEwen,
2014; Hilton
2015)
Seguiment
d’ús &tracking
(Orr et al., 2015;
Pegler, 2011)
Guies de reptes
i beneficis dels
OER (Butcher,
2011; COL, 2011)
Recursos educatius oberts
MANCANCES
en la integració educativa i
la reutilització real dels
recursos educatius
NECESSITAT
d’enfocaments
alternatius/inèdits
Procedència
geogràfica
(COL, 2012;
OER World
Congress, 2017)
Informes
aprenentatge
(Babson Survey,i
Horitzon Report)

8. 1.3. Interès de l’estudi
8
Espais
personals
(Cohen et
al., 2015)
Garantia de qualitat
(Atenas, 2015; Clemens
et al; 2016)
Estructura
(McGreal,
2011)
Perfils dins
l’ensenyament
(de los Arcos et
al., 2015)
Directrius de
desenvolupament
(OECD, 2007;
UNESCO, 2011)
Metadades
(Bueno-de la-
Fuente, 2013)
Usuaris
Tipus de
relació
establerta
amb OER
(Weller et al,
2016)
Grups d’interès:
política i gestió
de REO (Conole
i Ehlers (2010)
Nivells de
compromís dins
la docència (Willd,
2012)
Serveis
addicionals
(de los Arcos
et al., 2015;
Zervas et al.,
2014)
Procedència
geogràfica
(COL, 2012)
Comunitats de
pràctica de
repositoris (Beaven,
2013; Comas-Quinn i
Fitzgerald, 2013;
Pynoo et al., 2012;
Xu, 2016).
Repositoris educatius
Pràctiques educatives obertes/
Reutilització
Adopció dels
OER (Wiley,
Bliss i McEwen,
2014)
Enquestes
(Camilleri,
Ehlers, i
Pawlowski,
2014
Seguiment
d’ús &tracking
(Orr et al.,
2015; Pegler,
2011)
Reptes i
beneficis dels
OER (Butcher,
2011; COL, 2011)
Recursos educatius oberts
Reutilització i
aspectes
educatius en
repositoris
Usuaris
creadors i
reutilitzadors
de recursos
educatius
Panoràmica
completa
(Tzikopoulos et
al., 2007)

9. 1.4. Estudi preliminar. Publicació
9
Cites: 45
JCR IF: 1.063
Santos-Hermosa, G; Ferran-Ferrer, N. & Abadal, E. (2012). Recursos
educativos abiertos: repositorios y uso. El Profesional de la Información, 21
(2). http://dx.doi.org/10.3145/epi.2012.mar.03

10. 1.5. Objectius de recerca
Objectiu 1
Analitzar el grau de desenvolupament dels repositoris educatius
d’educació superior respecte a les seves funcionalitats de
reutilització i propietats educatives
Objectiu 2
Conèixer les percepcions dels usuaris de recursos educatius
oberts a l’hora de reutilitzar-los. És a dir, els factors més influents
en la seva decisió de realitzar activitats educatives obertes
Objectiu general
Estudiar la reutilització dels recursos educatius oberts dins l’educació
superior des d’una doble perspectiva: la predisposició dels repositoris i les
necessitats dels usuaris de recursos educatius
10

11. 1.6. Metodologia
Aproximació d’orientació qualitativa
Tècniques de recerca:
● Revisió bibliogràfica (Fink, 2005) → Estudi preliminar
● Anàlisi de contingut (Krippendorff, 2013) → Objectiu 1
● Qüestionari (Trochim, 2006)→ Objectiu 2
11

12. 1.5. Metodologia: anàlisi de contingut (objectiu 1)
1. Elaboració d’un quadre d’indicadors (febrer-juny 2014)
2. Selecció de la població de repositoris (juny-setembre 2014)
12
3. Recollida de dades
(gener-juny 2015)
● Procediment: consulta de
documentació i cerques.
● Taula de parametrització
4. Anàlisi i categorització (juny-
setembre 2015)
Avaluació i interpretació de
resultats: presència/absència
d’indicadors, còmput i establiment
de categories
Limitacions: urls trencades, duplicats, omissió de dades i dificultats idiomàtiques

13. 1.5. Metodologia: qüestionari (objectiu 2)
1. Disseny (octubre-desembre 2012):
● ORIOLE 2013, en base a qüestionari-pilot 2011
● Recerca exploratòria, de cobertura internacional (2
idiomes) i focus en la reutilització.
● Adreçat a perfils professionals educatius que creen,
usen/reutilitzen i comparteixen OER
● Exclosos: estudiants/interessats no professionals
2. Distribució (abril-maig 2013): fòrums i llistes de
distribució, butlletins internacionals, xarxes socials, web
3. Extracció i anàlisi de dades (juny-desembre 2013):
Còmput numèric i categories de valoració (SurveyMonkey)
i prova no paramètrica d’independència (Khi quadrat)
Projecte Open Resources: Influence
on Learners and Educators project
(ORIOLE). Programa OER UK (JISC)
Estada a l’IET, The Open University, UK
13
Limitació temporal/econòmica: nombre reduït, taxa no resposta i desigualtats geogràfiques

14. 14
Objectius Tècniques
recerca
Estudis Capítols
Preliminar Revisió
bibliogràfica
Estat de la qüestió 2. Antecedents
Objectiu 1
Grau de desenvolupament
dels repositoris educatius
Anàlisi de
contingut
110 repositoris
educatius
3. Repositoris
educatius
Objectiu 2
Influències per a la
reutilització de recursos
educatius oberts per part
dels seus usuaris
Qüestionari Influències
manifestades per
usuaris d’OER
4. Percepcions i
pràctiques educatives
dels usuaris
1.6. Estructura

15. 15
Objectius Tècniques
recerca
Estudis Capítol
Preliminar Revisió
bibliogràfica
Estat de la qüestió 2. Antecedents
Objectiu 1
Grau de desenvolupament
dels repositoris educatius
Anàlisi de
contingut
110 repositoris
educatius i
3. Repositoris
educatius
Objectiu 2
Influències per a la
reutilització de recursos
educatius oberts per part
dels seus usuaris
Qüestionari Influències
manifestades per
usuaris d’OER
4. Percepcions i
pràctiques educatives
dels usuaris
2. REPOSITORIS EDUCATIUS

16. 2.1. REPOSITORIS EDUCATIUS: Objectius
16

17. 2.2. REPOSITORIS EDUCATIUS: Principals resultats
● Exclusius de recursos educatius
● Multidisciplinars i institucionals
● Programari Dspace però tendència emergent a adoptar CMS/ LMS
● Estàndard de metadades Dublin Core però també presència
d’estàndars específics educatius (LOM) i croswalk metadata, que
incorpora descriptors educatius a DC qualificat
● Originaris, sobretot, d’Europa (Regne Unit, Espanya, i França) i
Amèrica del Nord (USA).
17

18. 2.3. REPOSITORIS EDUCATIUS: IndicadorsQUADREDECLASSIFICACIÓ
Indicadors de
REUTILITZACIÓ
(7)
Indicadors
EDUCATIUS
(3)
● Emmagatzematge total o parcial (exclusius o híbrids)
● Disciplina (multidisplinar o temàtics)
● Responsabilitat (institucional, nacional, governamental, etc)
● Origen geogràfic (país)
● Tipologia de programari /plataforma (DSpace, Drupal, CMS)
● Estàndard de metadades (DC, LOM, tags, etc)
Indicadors
GENERALS
(6)
● Intencionalitat (intenció/suport a la reutilització)
● Versionat (solucions tècniques per la coexistència de versions)
● Llicències (obertes, restringides o totes dues)
● Granularitat (mida)
● Formats oberts
● Garantia de qualitat (top-down i bottom-up)
● Comunitat d’usuaris
● Tipologia de recursos educatius (contingut, format, temàtica)
● Tipologia de metadades educatives
● Objectius d’aprenentatge
18

19. 2.4. REPOSITORIS EDUCATIUS: Principals resultats
*Repositoris exclusius educatius : Major incidència de la
qualitat, intencionalitat i granularitat
Indicadors de reutilització Indicadors educatius
Ídem però major incidència de la
qualitat, intencionalitat i granularitat
Ídem però major protagonisme de les
metadades educatives (> 60%) i objectius
d’aprenentatge (> 40%)
Total
(110)
Exclusius
d’educació
(60)
19

20. 2.5. REPOSITORIS EDUCATIUS: Principals resultats
Nivell alt (8,2%)
7-8 indicadors
Ídem anteriors + estàndards
de metadades educatives i
granularitat
2
Nivell baix (60%)
1-4 indicadors
Llicències i xarxes socials
4
Nivell mitjà (28,2%)
5-6 indicadors
Ídem anterior + qualitat,
intencionalitat i metadades
educatives
3
Nivell superior (3,6%)
Presència de la majoria
d’indicadors
Objectius d’aprenentatge (i 50%
formats oberts)
1
20

21. 2.6. REPOSITORIS EDUCATIUS: Conclusions
21
Creixement de llicències obertes: CC i alta presència de BY-NC-SA i BY-NC (escassedat respecte el total)
→ Augment en l’obertura dels repositoris però encara no la suficient per reutilitzar
Increment de serveis d’interacció social (promoció) però no generació de comentaris i valoracions (revisió)
→ Menor possibilitat de sistemes de garantia de qualitat ascendent (bottom-up)
Més incidència d’intencionalitat per reutilitzar que provisió de formats oberts o versionat.
→ Existeixen funcionalitats de reutilització a nivell teòric que no pas de manera pràctica
Tot i que els repositoris exclusius d’educació proveeixen més informació educativa, encara...
→ N’hi ha molts recursos descrits per tipologia/format i no mitjançant metadades educatives
Els repositoris exclusius educatius estan millor preparats per la reutitització i
l’educació que els híbrids però no han assolit el seu màxim potencial

22. 2.7. REPOSITORIS EDUCATIUS: Publicació
Cites: 45
IF: 1.063 (JCR, 2016)
Cites: 45
IF: 1.063 (JCR, 2016)
22
SSCI IF: 0.734
Accés a dades obertes:
https://doi.org/10.6084/m9.figshare.5455789.v1
Santos-Hermosa, G; Ferran-Ferrer, N. & Abadal, E. (2017). Repositories of
open educational resources: an assessment of reuse and educational
aspects. The International Review of Research in Open and Distributed
Learning (IRROLD), 18 (5). http://dx.doi.org/10.19173/irrodl.v18i5.3063

23. 23
Objectius Tècniques
recerca
Estudis Capítol
Preliminar
Estat de la qüestió
Revisió
bibliogràfica
Estat de la
qüestió
2. Antecedents
Objectiu 1
Grau de
desenvolupament dels
repositoris educatius
Anàlisi de
contingut
110 repositoris
educatius
3. Repositoris educatius
Objectiu 2
Influències per a la
reutilització de recursos
educatius oberts per part
dels seus usuaris
Qüestionari Influències
manifestades per
usuaris d’OER
4. Percepcions i
pràctiques educatives
dels usuaris
3. USUARIS

24. 3.1. USUARIS DE REO: Objectius
24

25. 3.2. USUARIS: Perfil dels enquestats i dades generals
● Nombre: 241 enquestats (137, en anglès i 104, en espanyol)
● Procedència: 37 institucions, de 45 països (Espanya, EUA i
Regne Unit)
● Perfil més popular: docent (per davant d’investigadors,
dissenyadors pedagògics, informàtics o bibliotecaris).
● Activitat i nivell educatiu predominants: docència presencial i
educació superior
● Estratègies de foment: polítiques institucionals, governamentals
o regionals.
● Destinataris de la creació/adaptació: principalment estudiants però
també col.legues i altres
25

26. 3.3. USUARIS : Principals resultats
26
Millora la qualitat de
l’aprenentatge dels estudiants
1
Pragmatisme
(estalvi de temps, exclusivitat, possibilitat de recompensa)
Professionals
(desenvolupament equip, suport a pedagogia
Garantia de qualitat
(comentaris i revisions, repositoris de confiança, etc)Garantia de qualitat
(actualitat, precisió, característiques enriquides)
Pragmatisme
(disponibilitat en diferents idiomes)
2
3
Conscienciació i requeriments per
reutilitzar (bona pràctica, remescla, etc)
2
Obertura
(llicència oberta/ domini públic)
Sostenibilitat econòmica
(sense cost associat)
Requeriments per reutilitzar
(permís per derivades, modularitat, etc.)
1
2
3
UTILITZACIÓ REUTILITZACIÓ I COMPARTICIÓ

27. 3.4. USUARIS: Principals resultats
27
Criteri situat en
posicions altes,
(inmediatament
després d’influències
sobre requeriments de
reutilització)
Percepció general
positiva
(mitjana de 86,8% )
Criteri altament
valorat, sobretot
en la decisió de
reutilitzar,
seguit de la d’’ús i
compartició

28. 3.5. USUARIS: Principals resultats
28
RESULTAT
No existeixen diferències
demostrades de comportament
entre les dues poblacions
d’usuaris (variació no rellevant,
segons prova d’independència)
PERCEPCIÓ INICIAL
Probabilitat que existeixi major
predisposició per usar, reutilitzar i
compartir REO per part d’usuaris
vinculats a projectes que requereixin
aquestes pràctiques obertes que per
aquells sense vinculació

29. 3.6. USUARIS: Conclusions
29
Intenció per reutilitzar més relacionada amb reptes altruistes (intrínsecs) que amb
reconeixement (extrínsecs)
➔ Incentius no vinculats a requisits de projectes o obligacions institucionals sinó amb conviccions personals
➔ Això no es contradiu amb l’interès de que les contribucions a l’ensenyament siguin reconegudes per institució
Augment de consciència sobre els recursos educatius oberts i cultura de reutilització
➔ Inverteixen temps i esforç per assegurar qualitat i requeriments tècnics i de reutilització
➔ Cicle de retroalimentació: els usuaris anticipen aspectes que ajuden a generar major pràctica educativa
La pràctica educativa oberta no depèn del reconeixement o prestigi docent sinó de la
voluntat i el convenciment personal.

30. 3.7. USUARIS: Publicació
IF: xxx (JCR, 2016)
IF: xxx (JCR, 2016)
30
Indexat a WoS, ERIC, DOAJ i MIAR
Cites: 3
Accés a dades obertes:
https://doi.org/10.6084/m9.figshare.5455750.v1
https://doi.org/10.6084/m9.figshare.5455747.v1
Santos-Hermosa, G. (2014). ORIOLE in the search for evidence of
OER in teaching. Experiences in the use, re-use and the sharing
and influence of repositories. Qualitative Research in Education, 3(2),
232-268. http://dx.doi.org/10.4471/qre.2014.46

31. 5. CONCLUSIONS
31

32. 4. CONCLUSIONS (I): Connexió entre usuaris i repositoris
Indicadors amb major
correspondència amb
necessitats d’usuaris:
1. Qualitat d’aprenentatge
del recurs
2. Obertura: llicències i
formats
3. Intencionalitat per
reutilitzar
4. Metadades educatives
32
INFLUÈNCIES dels usuaris a l’hora de reutilitzar INDICADORS que ofereixen els repositoris
Els repositoris cobreixen les necessitats pedagògiques i de reutilització dels usuaris?
Altres indicadors
amb menor pes:
Gran ventall
d’indicadors més
distribuïts
Distribució d’indicadors influents

33. 4. CONCLUSIONS (II)
1. Qualitat d’aprenentatge del recurs: aspecte prioritari pels usuaris però no resolt
en la majoria dels repositoris, que pressuposen que han de garantir-la els creadors
i estan més orientats a requeriments de dipòsit i sistemes d’acreditació interna, que
no a ampliar funcionalitats cap a:
● metadades educatives sobre resultats d’aprenentatge (ús suggerit/ objectius
d’aprenentatge) i opcions de valoració i rúbriques d’avaluació pels usuaris
(bottom-up) que garantirien que el recurs és útil per aprendre.
● sistemes de revisió externa (per parells/comité avaluador) i segells de
qualitat, que acreditarien un recurs abans de formar part de la col.lecció.
1. Obertura: molts repositoris estan superant l’obstacle legal de la reutilització
(per mitjà de llicències CC), encara falta resoldre l’obstacle tècnic (desbloqueig
gràcies a formats oberts) per poder garantir-la plenament. 33

34. 4. CONCLUSIONS (III)
34
La intencionalitat per reutilitzar és correspon amb la motivació i consciència dels
usuaris (familiaritzats amb les pràctiques educatives obertes) però també cal
l’acompanyament d’altres factors complementaris que ha de proveir el context
institucional (infraestructura, suport tècnic, capacitació). S’ha constatat que la
intencionalitat dels repositoris és més teòrica que pràctica; per tant, la cultura
institucional és essencial per dissenyar repositoris a mida de les necessitats
reals dels usuaris i particularitats dels recursos educatius oberts.
Metadades educatives: tot i que els usuaris necessiten informació pedagògica
contextual/addicional dels recursos educatius abans de reutilitzar-los (experiència
prèvia), els repositoris educatius mostren una deficiència important al respecte.
És un gran repte a assolir si es pretén captar l’atenció dels usuaris per tal que hi
acudeixin i trobin recursos pertinents a les seves necessitats educatives..
4.
3.

35. 4. CONCLUSIONS (IV): Quina és clau de l’entesa entre
usuaris i repositoris?
Mentre que molts repositoris compleixen amb requeriments bàsics (estàndards
metadades), legals (llicències) i d’interacció (xarxes socials) que permeten usar,
reutilitzar i/o compartir recursos de manera oberta, pocs permeten fer-ho d’acord a
necessitats educatives específiques (metadades educatives, objectius
d’aprenentatge, qualitat) o a característiques tècniques concretes (formats oberts,
versionat, granularitat) i d’avaluació social que millorarien l’ús i la reutilització.
Aquest exclusiu i reduït nombre de repositoris coincideix amb els més reconeguts i
utilitzats, que pertanyen a la categoria alta i són els que compleixen els requisits “de
confiança” dels usuaris.
35

36. 4. CONCLUSIONS (V): Quina és clau de l’entesa entre
usuaris i repositoris?
El futur dels repositoris hauria de
seguir models existents més
desenvolupats, que propicien les
pràctiques educatives obertes i que
generen confiança entre usuaris.
36

37. Moltes gràcies per la seva atenció!
37