2. Cap´
ıtulo 9
Conclusiones y aportaciones
“La tarea de realizar una Tesis Doctoral es muy ardua, y una vez
en marcha, comienzan a aparecer las sorpresas, los tropiezos, los
nuevos caminos y las ampliaciones de conocimientos. Todos estos
elementos hacen del proceso una experiencia unica, que es dif´
´
ıcil
concluir. En otros t´rminos, el proceso de investigaci´n es parte
e
o
de la vida del mismo investigador; sin embargo, es necesario concluir etapas y es as´ que considero la presente Tesis: una puerta
ı
que si de un lado concluye esta fase de la investigaci´n, por otra
o
abre oportunidades para muchas otras que seguramente llegar´n
a
en el futuro.” Fernandez (2000).
291
3. 292
9.1
Conclusiones
La usabilidad forma parte de los campos de estudio de la Ergonom´ que proıa
porciona requisitos b´sicos a la actividad industrial, principalmente cuando
a
se identifica la interacci´n entre los productos, los servicios y el hombre. El
o
sector de la producci´n multimedia relacionado con la educaci´n y formao
o
ci´n a distancia carece de estudios sobre la usabilidad de los modelos de
o
instrucci´n desde el punto de vista de la implementaci´n pr´ctica.
o
o
a
En este sentido, una de las soluciones m´s comunes es la adecuaci´n dia
o
recta de dichos modelos a sistemas inform´ticos, en la cual se consideran
a
varios criterios funcionales. No obstante, pocos criterios educativos son efectivamente tomados en consideraci´n, de manera que se hace necesario un
o
estudio profundizado de este entorno con el prop´sito de lograr resultados
o
m´s eficientes tanto t´cnicos como educacionales.
a
e
Usando los marcos te´ricos educacionales relacionados con el dise˜o de
o
n
la instrucci´n y los procesos de test de verificaci´n, validaci´n y usabilidad
o
o
o
como punto de partida, se presentan un conjunto de criterios de evaluaci´n
o
heur´
ıstica de usabilidad que contribuyen a la mejora de aplicaciones multimedia usadas en educaci´n y formaci´n a distancia.
o
o
Considerando los procesos de test de usabilidad desde su perspectiva funcional, se pueden sintetizar los siguientes aspectos:
• La realizaci´n de test formales (i.e. aquellos que necesitan alta ino
fraestructura incluyendo un espacio f´
ısico dedicado y profesionales,
software y hardware especializados) representa un aumento radical en
el presupuesto de las organizaciones, lo que torna inviable su imple-
4. 293
mentaci´n de manera generalizada.
o
• Se establecen m´todos alternativos de test de usabilidad, denominae
dos m´todos o t´cnicas de inspecci´n, que definen las bases para la
e
e
o
concepci´n, dise˜o e implementaci´n de modelos alternativos de bajo
o
n
o
coste:
– Se define un modelo de test heur´
ıstico (i.e. el modelo SSTM) basado en los principios sem´nticos, sint´cticos e h´
a
a
ıbridos con el cual
se verifican y validan los aspectos funcionales de las aplicaciones
multimedia y se examina su usabilidad respecto al modelo de la
instrucci´n propuesto.
o
– La realizaci´n del an´lisis de las influencias determinantes entre
o
a
los elementos del modelo SSTM permite el dise˜o de un mapa
n
conceptual, que se utiliza en la identificaci´n de los procesos de
o
desarrollo donde los problemas y errores encontrados han sido generados.
• Se modifica la forma de evaluar la usabilidad de aplicaciones multimedia
incorporando marcos te´ricos educativos. De esta manera, se evidenc´
o
ıa
la necesidad de examinar la adquisici´n y retenci´n de conocimiento
o
o
durante la evaluaci´n de sistemas interactivos multimedia educativos.
o
En este punto del presente trabajo es posible afirmar que el objetivo
central inicialmente planteado ha sido alcanzado, es decir, ha sido posible
construir un conjunto de criterios de evaluaci´n de usabilidad de aplicao
ciones multimedia, considerando tanto los aspectos ergon´micos y relativos
o
5. 294
a los procesos de test, como tambi´n las caracter´
e
ısticas de los modelo de
instrucci´n fundamentalmente involucrados en transferencia de informaci´n
o
o
(i.e. proceso ense˜anza-aprendizaje).
n
Para probar la hip´tesis planteada, se ha realizado un an´lisis te´rico
o
a
o
y emp´
ırico de las aplicaciones multimedia desarrolladas por el Laboratorio
Multimedia (UPC) guiados por los m´todos de investigaci´n “teor´ fundae
o
ıa
mentada en datos” y “estudio de caso”. Como una de las estrategias de
adquisici´n de datos, se considera el modelo SSTM, el cual est´ compuesto
o
a
por una estructura conceptual, un m´todo de aplicaci´n y herramientas de
e
o
apoyo.
Es relevante se˜alar que el desarrollo de la investigaci´n ha seguido una
n
o
l´
ınea evolutiva desde un panorama general sobre la ingenier´ de software,
ıa
pasando por el an´lisis de procesos de software y, espec´
a
ıficamente, procesos
de test, hasta la incorporaci´n de los aspectos ergon´micos (i.e. usabilidad).
o
o
En paralelo y considerando el contexto educacional, algunas teor´ sobre
ıas
el dise˜o de la instrucci´n han sido usadas permitiendo la simbiosis de los
n
o
´mbitos que delimitan este trabajo.
a
Se llega a la conclusi´n de que, el uso de aplicaciones multimedia como
o
modelos de instrucci´n para la educaci´n y formaci´n a distancia aumenta
o
o
o
la adquisici´n y retenci´n del conocimiento por los usuarios. Para ello, es
o
o
fundamental que se consideren los criterios de evaluaci´n de usabilidad relao
cionados con la organizaci´n del contenido, la estructura y la operaci´n de
o
o
la aplicaci´n y con la interacci´n hombre-ordenador.
o
o
6. 295
9.2
Aportaciones experimentales
La finalizaci´n de esta etapa de la investigaci´n comprende un conjunto de
o
o
resultados respaldados por los m´todos de investigaci´n utilizados (i.e. la
e
o
teor´ fundamentada en datos y el estudio de caso). Adem´s de validar la
ıa
a
hip´tesis planteada, dichos resultados han facilitado identificar las siguientes
o
aportaciones:
• Correspondencia entre los procedimientos de test y los procesos de desarrollo.
• An´lisis de las influencias determinantes.
a
• Modelo de test sem´ntico y sint´ctico.
a
a
• Estrategia de an´lisis de datos de usabilidad.
a
9.2.1
Correspondencia entre los procedimientos de test
y los procesos de desarrollo
A trav´s de un an´lisis met´dico, ha sido posible establecer una correspone
a
o
dencia entre los criterios de evaluaci´n de usabilidad y los procesos principales
o
del ciclo de vida de desarrollo de las aplicaciones multimedia desarrolladas
por el Laboratorio Multimedia (UPC) (v´ase Tabla 6.5, p´gina 206). Ese
a
ta correspondencia ha permitido reducir el tiempo de desarrollo de dichas
aplicaciones multimedia a trav´s de cambios en el sistema de edici´n.
e
o
7. 296
9.2.2
An´lisis de las influencias determinantes
a
El estudio sobre la interrelaci´n entre los agentes del modelo SSTM ha pero
mitido desarrollar la t´cnica de an´lisis de las influencias determinantes cuyo
e
a
resultado se presenta en la Tabla 8.1(p´gina 284). Dicha t´cnica se caracteria
e
za por el dise˜o de un meta-modelo, una taxonom´ y el an´lisis interpretativo
n
ıa
a
de las interrelaciones entre los elementos identificados en la taxonom´
ıa.
9.2.3
Modelo de test sem´ntico y sint´ctico
a
a
El modelo de test SSTM es un modelo de test heur´
ıstico que considera los
principios sem´nticos, sint´cticos e h´
a
a
ıbridos definidos en el estudio taxon´o
mico de la naturaleza de los test (v´ase Cap´
e
ıtulo 6, p´gina 174). A trav´s del
a
e
modelo SSTM se verifican y se validan los aspectos funcionales de las aplicaciones multimedia, examinando su usabilidad respecto al modelo instructivo
propuesto.
9.2.4
Estrategia de an´lisis de datos de usabilidad
a
Una estrategia de an´lisis de datos de usabilidad (v´ase Cap´
a
e
ıtulo 6, p´gina
a
210) que permite examinar las correlaciones entre los datos de seguimiento
acad´mico, los datos sobre la usabilidad de la aplicaci´n multimedia analizada
e
o
y la cantidad de problemas encontrados durante en los procedimientos de
test. A partir de estos datos, se construye una tabla de datos a trav´s de la
e
cual se determinan los par´metros de test que facilitar´n la la identificaci´n
a
a
o
los problemas principales de los prototipos de las aplicaciones multimedia
durante su desarrollo.
8. 297
9.3
Aportaci´n te´rica
o
o
Inicialmente, se acota el campo de actuaci´n de la investigaci´n a trav´s de
o
o
e
la problem´tica definida, el objetivo planteado y sus l´
a
ımites y limitaciones.
Adem´s, se establecen cuestiones a trav´s de las cuales se formula la hip´tesis
a
e
o
principal de la tesis (v´ase Cap´
e
ıtulo 1).
De esta manera, se definen los aspectos metodol´gicos de la investigaci´n.
o
o
Se presenta la metodolog´ empleada para desarrollar el estudio, desde su
ıa
dise˜o hasta las conclusiones. La metodolog´ se basa en la investigaci´n
n
ıa
o
cualitativa y utiliza el enfoque interpretativo con el prop´sito de entender el
o
uso de aplicaciones multimedia en educaci´n y formaci´n a distancia. Para
o
o
ello, se aplican dos m´todos de investigaci´n: la teor´ fundamentada en
e
o
ıa
datos y el estudio de caso (v´ase Cap´
e
ıtulo 2).
Como se ha comentado, el estudio te´rico caracteriza los ambitos de la
o
´
presente tesis. El Cap´
ıtulo 3 se dedica al estudio de dos ambitos delimitadores
´
de este trabajo: la educaci´n y formaci´n a distancia y las tecnolog´ de la
o
o
ıas
informaci´n y comunicaci´n. Por una parte, se presenta una visi´n general
o
o
o
sobre la educaci´n, en la cual se definen los marcos te´ricos educacionales.
o
o
Adem´s se realiza un an´lisis sobre la adopci´n de la educaci´n a distancia
a
a
o
o
y el tratamiento necesario para lograr el ´xito educativo a trav´s de esta
e
e
modalidad de ense˜anza.
n
El an´lisis realizado a partir de la teor´ de los objetivos educacionales
a
ıa
indica que en las aplicaciones multimedia dise˜adas como herramientas insn
tructivas para la educaci´n y formaci´n a distancia se usan b´sicamente los
o
o
a
niveles jer´rquicos: conocer, comprender y aplicar. En este sentido, se rea
9. 298
comienda la implementaci´n de experimentos con el prop´sito de verificar
o
o
si se puede dise˜ar un modelo de instrucci´n aplicada que considere los obn
o
jetivos educacionales: analizar, sintetizar y evaluar. De esta manera, se
completa la jerarqu´ de esta teor´ lo que puede determinar otros criterios
ıa
ıa,
de evaluaci´n de usabilidad.
o
Por otra parte, se presenta un panorama general de las nuevas tecnolog´
ıas
de la informaci´n y comunicaci´n, a partir del cual se definen los formatos
o
o
de las aplicaciones multimedia analizadas. Dichos formatos consisten en CDROM (i.e. productos) y WEB (i.e. servicios). Se acaba el cap´
ıtulo presentando algunas consideraciones ´ticas respecto al uso de la educaci´n y formaci´n
e
o
o
a distancia basada en sistemas inform´ticos.
a
El Cap´
ıtulo 4 aporta una visi´n general de los aspectos principales de
o
la usabilidad que demarcan el ambito de la ergonom´ usado en la investi´
ıa
gaci´n. Se describen sus caracter´
o
ısticas principales, las cuales permiten sacar
el m´ximo rendimiento de una persona a partir de la adecuaci´n de los sisa
o
temas inform´ticos a sus usuarios. Como se ha visto, la usabilidad se define
a
como una importante referencia para el control de la calidad de sistemas y
por extensi´n, de aplicaciones multimedia usadas en educaci´n y formaci´n
o
o
o
a distancia.
Se examina dicha calidad a trav´s de m´todos (e.g. los estudios de opie
e
ni´n, los protocolos “Pensando Alto”, las entrevistas, la observaci´n formal e
o
o
informal, etc.) y procesos (e.g. la evaluaci´n heur´
o
ıstica, la revisi´n de gu´
o
ıas
y reglas, la inspecci´n basada en est´ndares, el seguimiento cognitivo, etc.)
o
a
Dentro de este contexto, se ha presentado un modelo de ciclo de vida
de la ingenier´ de usabilidad basado en los principios fundamentales para el
ıa
10. 299
dise˜o de sistemas: el enfoque temprano en los usuarios y tareas, la medici´n
n
o
emp´
ırica y el dise˜o iterativo.
n
El cap´
ıtulo 5 presenta los marcos te´ricos del ambito de la ingenier´ de
o
´
ıa
software en donde se investigan los an´lisis y dise˜os de modelos conceptuales
a
n
de flujos de trabajo, la estructura de organizaci´n y la gesti´n y control de
o
o
calidad.
Ante esto, ha sido posible entender los v´
ınculos existentes entre el modelo
SSTM y la ingenier´ de software, la cual es una disciplina que involucra
ıa
diversas metodolog´ m´todos, t´cnicas y herramientas con el objetivo de
ıas, e
e
desarrollar sistemas de informaci´n de alta calidad.
o
El panorama presentado parte de la definici´n de software y sus caraco
ter´
ısticas, pasando por los modelos y est´ndares internacionales de proceso
a
de software, hasta la definici´n de modelos de proceso de test.
o
En el que se ocupa el Cap´
ıtulo 6, se presenta el estudio sobre el dominio
de la naturaleza de los test de verificaci´n, validaci´n y usabilidad aplicados a
o
o
aplicaciones multimedia. Este estudio se basa en un meta-modelo, compuesto
por los enfoques anal´
ıtico y matem´tico, que representa dicho dominio. Usaa
do el meta-modelo como punto de partida, se construye una taxonom´ sobre
ıa
la naturaleza de los test, la cual ha permitido dise˜ar el modelo SSTM.
n
A pesar de que la presente investigaci´n presta atenci´n al enfoque ao
o
nal´
ıtico, se comenta el enfoque matem´tico considerando sus caracter´
a
ısticas
principales, tales como las t´cnicas de adquisici´n y an´lisis de datos y los
e
o
a
posibles m´todos de dise˜o del modelo matem´tico.
e
n
a
Adem´s, en este cap´
a
ıtulo, se hace un an´lisis cuantitativo de los datos
a
obtenidos de los cuestionario de usabilidad aplicados a los usuarios de aplica-
11. 300
ciones multimedia (v´ase Ap´ndice A). Los resultados de los an´lisis han pere
e
a
mitido validar la taxonom´ propuesta y, por consiguiente, el modelo SSTM.
ıa
Dichos resultados indican que la usabilidad de una aplicaci´n multimedia
o
influye en el aprendizaje de su usuario. Se considera las correlaciones de
Pearson la medida del grado de influencia.
Los Cap´
ıtulos 7 y 8 explican el modelo de test sem´ntico y sint´ctico
a
a
(SSTM), el cual consiste en una de las aportaciones principales de la investigaci´n. El modelo SSTM est´ constituido por agentes, ´
o
a
ıtems de inter´s y
e
criterios de evaluaci´n. El dise˜o del modelo SSTM considera un estudio leo
n
xicogr´fico de los ´
a
ıtems de inter´s presentado en el Ap´ndice B. Adem´s, ha
e
e
a
sido realizado el an´lisis de las influencias determinantes (v´ase Ap´ndice C)
a
e
e
entre los elementos del modelo SSTM (i.e. los agentes, los ´
ıtems de inter´s y
e
los criterios de evaluaci´n), el cual se caracteriza como una de las actividades
o
de validaci´n de dicho modelo.
o
Como se ha comentado, el objetivo principal del modelo SSTM es definir
la aceptabilidad y la usabilidad de un producto y/o servicio a trav´s de las
e
actividades de verificaci´n, validaci´n y de los test de usabilidad. Adem´s,
o
o
a
a trav´s del modelo SSTM, se ha recogido los datos sobre los problemas
e
identificados durante los procedimientos de test. Dichos datos forman parte
de la tabla de datos de la estrategia de an´lisis de la usabilidad de aplicaciones
a
multimedia presentada en el Cap´
ıtulo 6.
12. 301
9.4
L´
ıneas futuras de investigaci´n
o
Como se ha dicho, la presente tesis cierra primera etapa de la investigaci´n
o
sobre la usabilidad de sistemas interactivos multimedia. A partir de este
trabajo, se abre un abanico de t´picos a los que esta investigaci´n no ha
o
o
llegado, ya sea por los l´
ımites demarcados (v´ase Cap´
e
ıtulo 1, p´gina 11)
a
o por el enfoque anal´
ıtico que caracteriza el estudio. As´ pues, se proponen
ı
algunas l´
ıneas de investigaci´n que representar´n la continuidad de esta tesis:
o
a
• El dise˜o del modelo matem´tico. Este proceso consistir´ en la detern
a
a
minaci´n de la funci´n objetivo que representar´ la maximizaci´n del
o
o
a
o
aprendizaje de aplicaciones multimedia usadas en educaci´n y formao
ci´n a distancia, a partir de los criterios de evaluaci´n de usabilidad
o
o
propuestos en el modelo SSTM, la determinaci´n de los valores cuano
titativos de las restricciones identificadas a partir del meta-modelo, y
finalmente, el dise˜o y an´lisis del modelo matem´tico.
n
a
a
• El estudio sobre la influencia determinante de los agentes del modelo
SSTM (v´ase Tabla 8.1, p´gina 284) utilizando la teor´ de los grafos, la
e
a
ıa
red de Petri y otros modelos estructurales propuestos en la literatura.
• El estudio sobre la usabilidad de productos y servicios basados en tecnolog´ emergentes (i.e. aquellas que a´n no son completamente aseıas
u
quibles debido a su coste alto o a la complejidad de su uso).
