1. +
Evaluación de la calidad de la Evaluating the quality of nursing
investigación enfermera en UK: research in the UK:
Marco de Excelecencia The Research Excellence Framework
Investigadora
Sally Kendall, PhD, RN, RHV, FQNI Sally Kendall, PhD, RN, RHV, FQNI
Professor of Nursing Professor of Nursing
University of Hertfordshire University of Hertfordshire
UK UK

2. +
How can excellence in nursing
research be measured?
 Let people who have to observe sickness and death look
back and try to register in their observation the appearances
which have preceded relapse, attack or death, and not assert
that there were none, or that there were not the right ones. A
want of the habit of observing conditions and an inveterate
habit of taking averages are each of them often equally
misleading.
 — Florence Nightingale Notes on Nursing: What it is, and
What it is Not (1860), 67.

3. +
¿Cómo puede medirse la
excelencia en la investigación
enfermera? que deben observar la enfermedad y
 Permite a las personas
la muerte mirar atrás e intentar registrar en sus
observaciones los aspectos que han precedido una recaída,
un ataque o la muerte, y que no afirmen que no hay ninguno
o que no eran los correctos. Una falta de hábito en la
observación de condiciones y un hábito empedernido de
obtener una media resultan con frecuencia igual de
engañoso
 — Florence Nightingale. 1860. Notas sobre enfermería:
Qué es y qué no es. 1860. Pag 67.

4. + Excellence in Nursing Research must start
with the RIGHT questions
 What is the most effective care for the patient, family or
community?
 How do we know it works?
 What are the nursing attributes that contribute to effective
care?
 What are the patient reported outcomes?
 How does the patient/client experience health care?
 What is the cost of nursing care compared with other inputs
and outcomes? (cost effectiveness)

5. + La Excelencia en la Investigación
Enfermera debe empezar con las
preguntas adecuadas
 ¿Cuál es el cuidado más efectivo para el paciente, familia o
comunidad?
 ¿Cómo sabemos que funciona?
 ¿Cuáles son los atributos enfermeros que contribuyen a un
cuidado efectivo?
 ¿Cuáles son los resultados obtenidos del paciente?
 ¿Cuál es la experiencia del paciente en el cuidado de su
salud?
 ¿Cuál es el cote del cuidado enfermero comparado con otros
inputs y otros resultados? (Coste efectividad)

6. +
Measuring volume of research vs
quality
 Research assessment exercise (RAE) 2008 in UK:
 35 University departments of nursing were audited
 641.67 full time equivalent nursing and midwifery scholars
were submitted
 = 2567 research papers assessed by an expert panel
 = Ranked from 4* (highest quality) to unclassified (lowest
quality) in terms of international significance
 But what does this actually mean in relation to quality?
 How does this research affect patient care?

7. +
Medir el volumen Vs Calidad de
la investigación
 Ejercicio de Evaluación de la Investigación (RAE) 2008 en
UK:
 35 Departamentos Universitarios de Enfermeria auditados
 641.67 académicos a tiempo completo de enfermería y de
matrona fueron presentados.
 = 2567 artículos de investigación fueron evaluados
 = Puntuado desde 4* (Mayor calidad) a desclasificado
(Menor calidad) en términos de relevancia internacional
 Pero ¿Qué significa esto en relación a la calidad?
 ¿Cómo afecta esta investigación al cuidado del paciente?

8. +
Research Excellence Framework
2014 (REF)
 Organised and executed by the Higher Education Funding Council
(HEFCE)
 The primary purpose of the REF is to produce assessment outcomes
for each submission made by institutions
 The funding bodies intend to use the assessment outcomes to
inform the selective allocation of their research funding to
Universities, with effect from 2015-16.
 The assessment provides accountability for public investment in
research and produces evidence of the benefits of this investment.
 The assessment outcomes provide benchmarking information and
establish reputational comparative measure of quality (ranking)

9. +
Marco de Excelencia
Investigadora 2014 (REF)
 Organizado y ejecutado por el Consejo de fondos para la
Educación Superior (HEFCE)
 El propósito principal del REF es obtener una valoración de los
resultados de las investigaciones presentadas por las instituciones
 Estas corporaciones intentan usar la valoración de los resultados
para la asignación de sus fondos de investigación a las
Universidades, con efecto desde 2015-2016
 La valoración provee de responsabilidad para la inversión pública
en investigación y obtiene pruebas de los beneficios de sus
inversiones
 La valoración de resultados proporciona información sobre
estándares de comparación y establece medidas de calidad para
comparar la reputación (Ranking)

10. +
How the REF works
 Universities are requested to submit their best researchers to
an expert panel of up to 36 different subject areas
 Nursing and midwifery research will be assessed by a panel
that includes:
 Nursing and midwifery
 Allied Health professions
 Dentistry
 Pharmacy

11. +
¿Cómo funciona el REF?
 Se solicita a las universidades que presenten sus mejores
investigaciones a un panel de expertos en 36 áreas
diferentes
 La investigación en Enfermería y Matrona se evalúa por un
panel que incluye:
 Enfermería y Matrona
 Profesiones afines a la salud
 Odontología
 Farmacia

12. +
What is submitted?
 Each researcher must propose a maximum of 4 research papers
(less if part-time) published since 2008 (65%)
 A narrative description of the research environment, including
research income, training, support for staff and students, facilities,
international collaborations etc
 An account of all research student activity since 2008 with emphasis
on PhD completions
 An account of all research income generated since 2008 (15%)
 A narrative description of how IMPACT of research has been
developed
 Up to four case studies that describe IMPACT of the research (20%)

13. +
¿Qué presentan?
 Cada investigador propone un máximo de 4 artículos de
investigación (Menos si es a tiempo parcial) publicados desde 2008
(65%)
 Una descripción narrativa del entorno de investigación, que incluye
investigaciones financiadas, formación, apoyo para el personal y los
estudiantes, recursos de apoyo, colaboraciones internacionales, etc
 Informe sobre la actividad investigadora de los estudiantes desde
2008 con énfasis en las tesis leídas.
 Un informe sobre las financiaciones de investigaciones obtenidas
desde 2008 (15%)
 Una descripción narrada sobre cuál es el IMPACTO de la
investigación desarrollada
 Hasta estudios de casos para describir el IMPACTO de la
investigación (20%)

14. +
What is the timetable?
 Staff submitted must be employed by a University on 31 st
October 2013
 PhD completions must be by 31st July 2013
 All submitted papers must be published by 31st December
2013
 All impacts of research must be evidenced between 2008
and 2013
 All submissions must be made by Universities by 30 th
November 2013
 Results will be published during 2014

15. +
¿Cuáles son las fechas clave?
 El personal que se presente debe estar contratado por la
Universidad el 31 de Octubre de 2013
 Tesis leídas hasta el 31 de Julio de 2013.
 Todas los artículos presentados deben publicarse antes del
31 de Diciembre de 2013
 Todas las pruebas del impacto de las investigaciones deben
comprenderse entre 2008 y 2013.
 El plazo de presentación de las universidades será hasta el
30 de Noviembre de 2013
 Los resultados serán publicados durante 2014.

16. +
Implications of quality evaluation
for nursing via the REF
 Nursing research is compared with all other disciplines and
funding allocated on this basis
 Nurse scholars must therefore demonstrate scientific rigour,
international signficance and impact in a similar way to other
disciplines
 Nurse researchers must ensure that research that is based on
good practice questions is well designed, well conducted
and published in high quality peer reviewed journals
 Nursing research leaders have a responsibility to maintain
the profile of nursing research internationally

17. +
Implicaciones para la
evaluación de la calidad para
enfermería, viase compara con el resto de
 La investigación enfermera
REF
disciplinas y fondos asignados
 Las enfermeras académicas deben, por tanto, demostrar un
rigor científico, relevancia internacional e impacto de forma
similar a otras disciplinas
 Las enfermeras investigadoras deben asegurar que las
investigaciones que están basadas en preguntas adecuadas
están bien diseñadas, bien dirigidas y publicadas en revistas
de alta calidad revisada por pares
 Los líderes de la investigación enfermera tienen la
responsabilidad de mantener un perfil de investigación
enfermera internacional

18. +
What is impact?
 of the REF, impact is defined as an effect on, change or
benefit to the economy, society, culture, public policy or
services, health, the environment or quality of life, beyond
academia
 Impacts can be manifested in a wide variety of ways
including, but not limited to: individuals, organisations,
communities, regions, and other entities
 impacts on products, processes, behaviours, policies,
practices; and avoidance of harm or the waste of resources,
Higher Education Funding Council, England, 2012

19. +
¿Qué es el impacto?
 Para el propósito del REF, el impacto se define como un efecto, cambio o
beneficio sobre la economía, sociedad, cultura, políticas o servicios
públicos, salud, entorno, calidad de vida, más allá de lo académico.
 El impacto puede manifestarse en un amplia variedad de entidades y modos, que
incluye, pero no se limita a:
 Beneficiarios (Individuos, organizaciones, comunidades,
regiones, entidades)
 Impacts en productos, procesos, comportamientos, políticas y
normativas, prácticas, y evitación de daño o despilfarro de recursos
Higher Education Funding Council, England, 2012

20. + Impact Factor is NOT impact of research
The REF panels do not consider the IF of journals,
they scrutinise the quality of the research in its own
right.
Impact Factors of journals do not measure the impact of
research, it is only a measure of citation
 Citations can be negative as well as positive
 Researchers, publishers and decision makers give too much
attention to impact factors and insufficient attention to the
real impact of research
 We need to find improved ways of evaluating impact of
research in nursing
 We need to use the whole range of dissemination strategies
to develop impact, not just high impact factor journals

21. + Impact case study: Research on the evaluation of
parenting support (Kendall and Bloomfield)
 Rationale: The Department of Health for England regards
early intervention in parenting as a high priority strategy: it
views such intervention as the key approach to ensuring that
parents are supported, and children provided with positive
parenting that will improve their life chances.
 In England, health visitors (public health nurses) undertake
this role to support and intervene with parents.
 The background research is the development and
validation of a tool to evaluate parenting self-efficacy
(TOPSE) following parenting interventions in the
community

22. + Estudio de impacto de un caso: Investigación de
la evaluación del apoyo en la crianza (Kendall
and Bloomfield)
 Razón: El Ministerio de Salud de Inglaterra considera la
intervención precoz sobre la crianza infantil como una
prioridad estratégica: Esta intervención es clave para
asegurar el apoyo paternal y que los niños dispongan de una
crianza adecuada que mejore sus oportunidades vitales
 En Inglaterra, las Visitadoras de Salud (Enfermeras de Salud
Pública) asumen este rol para apoyar e intervenir con los
padres
 La investigación es el desarrollo de un instrumento
validado para evaluar la autoeficacia paternal (TOSE)
tras intervenciones sobre los padres en la comunidad

23. +
What is the impact of this research
on users?
 The Tool to Measure Parenting Self-Efficacy has had an effect
on policy and practice in the field of public health nursing
and parenting support.
 Whilst by inference we are aware that parents themselves
are benefiting directly from the support they receive, TOPSE
filled a gap, initially locally, then nationally and
internationally, in providing evidence that parenting support
can make a difference in parenting confidence.
 Parenting practitioners nationally and internationally
feedback to us that parents report improvements in their
confidence and parenting abilities.

24. +
¿Cuál es el impacto de esta
investigación para los usuarios?
 El instrumento para medir la Autoeficacia paternal ha tenido
un efecto en las políticas de salud y prácticas clínicas en el
campo de la enfermería de salud pública y en el apoyo a la
crianza
 Mientras, por inferencia, somos conscientes de que la
crianza se está beneficiando del apoyo que reciben, TOPSE
rellena un hueco, local en un principio, después nacional e
internacional, a la hora de proporcionar pruebas de que el
apoyo a la crianza puede marcar la diferencia en la confianza
paternal
 Los profesionales que intervienen sobre la crianza
proporcionan retroalimentación sobre las mejoras en la
confianza y habilidades paternales.

25. +
Where is our evidence for impact?
 TOPSE web site www.topse.org.uk
 490 enquiries from researchers and practitioners to use TOPSE,
from UK and internationally
 Translation into 8 languages – Dutch, Japanese, Welsh, Greek,
Rumanian, Hebrew, Danish, Swedish
 TOPSE is also used extensively across areas in the UK such as
Durham and Leeds and across national organisations including
Barnardo’s. TOPSE has been embedded into the quality standards
for the delivery of parenting programmes in Durham involving 500
parents in 2011 and in Leeds the tool was used to
evaluate 25 programmes totalling 250 parents.

26. +
¿Dónde está la prueba del
impacto?
TOPSE web site www.topse.org.uk
 490 solicitudes de investigadores y profesionales clínicos para usar
el TOPSE, nacionales (UK) e internacionales
 Traducción a 8 idiomas – Holandes, japones, galés, griego, rumano,
hebreo, danés y sueco
 TOPSE es usado ampliamente en otras regiones de Reino Unido
como Durham y Leeds y en organizaciones nacionales como
Barnardo’s.
 TOPSE ha sido considerado como estándar se alta calidad para
proporcionar programas de crianza en Durham que incluyen
500 padres/madres en 2011 y en Leeds ha sido
usado para evaluar 25 programas con un total
de 250 padres/madres

27. +
Qualitative evidence
 Our collaborative study with Kanazawa Medical University in
Japan resulted in the mayor of Uchinada agreeing to fund the
parenting programmes in that region for a further year.
 This means that Japanese parents benefited beyond our
research study as the parenting support is rolled out.
 Parenting support is highly relevant to Japanese policy in
relation to rising levels of child abuse in Japan and falling
fertility rates.
 Evidence of improvement in parenting skills enables the
Japanese policy makers to ensure that prospective parents
will be supported.

28. +
Evidencia Cualitativa
 Nuestro estudio en colaboración con la Universidad Médica
Kanazawa en Japón resultó en un acuerdo firmado por el
alcalde de Uchinada para financiar programas de crianza en
esa región para el siguiente año.
 Esto implica que los padres japoneses se han beneficiado,
más allá de nuestro estudio, por la expansión del apoyo a la
crianza
 El apoyo a la crianza es muy relevante en las políticas
japonesas en relación por los altos niveles de abuso infantil
en Japón y la caída de la tasa de fertilidad
 Evidencias de mejora en las habilidades paternales
permiten a los políticos asegurar un apoyo en los futuros
padres

29. +
Direct support for TOPSE
 TOPSE showed a benefit to parents in all areas. We are using
the individual results to signpost parents to other beneficial
services following attendance at groups”
 “We continue to only commission providers who use robust
monitoring and evaluation tools, one of which is TOPSE’
 “We use TOPSE to provide evidence of the effectiveness of our
parenting courses”

30. +
Apoyo Directo para TOPSE
 “TOPSE mostró un benefició en todas las áreas de crianza.
Estamos usando los resultados individuales para identificar
padres/madres para otras intervenciones, tras atender a las
sesiones grupales”
 “Continuamos sólo con comisiones de proveedores que usan
instrumentos de evaluación y monitorización robustos, tales
como el TOPSE”
 “Usamos TOPSE para proporcionar pruebas de la efectividad
de nuestros cursos de crianza infantil”

31. +
References // Referencias
 Bloomfield L. & Kendall S. 2012. Parenting self-efficacy, parenting stress and child
behaviour before and after a parenting programme. Primary Health Care Research and
Development 13,4, 364 - 372
 Bloomfield L, Kendall S, Fortuna S., 2010 Supporting parents: Development of a tool to
measure self-efficacy of parents with learning disabilities. British Journal of Learning
Disabilities 38 (4) 303
 Bloomfield L and Kendall S. 2010 Audit as evidence: The effectiveness of ‘123 Magic’
programmes .Community Practitioner 83 (1)26-30
 Bloomfield L and Kendall S. 2007 Testing a parenting programme evaluation tool as a
pre- and post-course measure of parenting self-efficacy.J Adv Nurs. 2007 Dec; 60(5):487-
93
 Kendall S. and Bloomfield L. 2005 TOPSE: Developing and validating a tool to measure
Parenting Self-Efficacy, Journal of Advanced Nursing 174-181
 Bloomfield L., Kendall S. Applin L., Attarzahaden V., Dearnly K., Edwards L.,
Hinschelwood L., Lloyd P. and Newcombe T. 2005 A qualitative study exploring the
experiences and views of mothers, health visitors and family support centre workers on
the challenges and difficulties of parenting, Health and Social Care in the Community,
13,1, 46-55

32. +
Conclusions
 Research in nursing can be evaluated in relation to volume
and quality
 To maintain high visibility and credibility nursing research
must be evaluated on the same basis as other disciplines
 Quality and rigour of science is essential
 Publication in high quality peer reviewed journals is
necessary but not sufficient
 IMPACT – the effect of the research on users must be
evidenced
 BUT is there a conflict between IMPACT on users and
publication criteria??

33. +
Conclusiones
 La Investigación enfermera puede ser evaluada en relación
al volumen y calidad
 Para mantener una investigación enfermera de alta
visibilidad y credibilidad debe evaluarse con las mismas
bases que otras disciplinas
 La calidad y rigor de la ciencia es esencial
 Publicaciones en revistas de alta calidad revisadas por pares
 IMPACTO – El efecto de la investigación sobre los usuarios
debe ser probada
 PERO, ¿Hay conflicto entre el IMPACTO sobre los usuarios y
los criterios de publicación?