L'Agència d'Informació, Avaluació i Qualitat en Salut (AIAQS) va organitzar el proppassat 21 de febrer una sessió informativa pública sobre el procés d'avaluació dels projectes de les convocatòries de recerca de La Marató de TV3. Seguint els criteris de rigor i transparència, la sessió va tenir com a objectiu,, d'informar la comunitat científica de Catalunya sobre els procés i el mètode d'avaluació que s'aplica durant la gestió de les convocatòries, procés que també es fa explícit i documentat als informes d'avaluació de cadascuna de les convocatòries ja realitzades. Entre els ponents van participar Carme Basté, directora de la Fundació La Marató de TV3; Carles Miquel, coordinador de la Comissió Assessora de la Fundació La Marató de TV3; Maite Solans, investigadora de l'Àrea de Recerca de l’AIAQS i Paula Adam, responsable de l’Àrea de Recerca de l’AIAQS.

1. Procés d’
P é d’avaluació d l
l ió dels
projectes de recerca presentats
p j p
a la Convocatòria de la
Fundació La Marató de TV3
Agència d’Informació Avaluació i
d Informació
Qualitat en Salut(AIAQS)
www.aatrm.net
Àrea de Recerca en Ciències de la Salut

2. Convocatòries

3. Procés d’avaluació
SOL·LICITUD
Format normalitzat
RECEPCIÓ I ORGANITZACIÓ
DELS PROJECTES
Actualització de la base de dades
UDUT
Classif icació dels projectes
Anonimització dels projectes
ASSIGNACIÓ UDUT
DELS PROJECTES
Selecció dels av aluadors i primer contacte
Introducció de les dades dels av aluadors
Classif icació per especialitats
Assignació de projectes
UDd
AVALUACIÓ DELS PROJECTES
Recepció de les av aluacions
Valoració de l’instrument d’av aluació
Classif icació i anàlisi de les av aluacions
Rev isió del procés d’av aluació
Selecció dels projectes f inançables
RESOLUCIÓ DE LA CONVOCATÒRIA I
PUBLICACIÓ DELS RESULTATS
Patronat de la Fundació La Marató de TV3

4. Procés d’avaluació
1. Recepció, classificació i anonimització dels
projectes
2. Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. Anàlisi i classificació dels projectes
6. Selecció dels projectes a finançar
7. Presentació dels resultats
7 Presentació dels resultats

5. Classificació i anonimització dels projectes
p j
 Classificació dels projectes
 Tipus de recerca: B, C, E,...
 Tipus de projecte: Paraules clau del resum
A
Anonimització
i i ió
 No identificar l’equip investigador del projecte
 XXXXX
 IP, Researcher 1, researcher 2,...

6. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

7. Selecció dels avaluadors (1)
( )
Fonts Criteris principals
• Comitè Científic AIAQS • Abast internacional
• Comissió Assessora de la • Experiència i expertesa
Experiència i expertesa
Fundació La Marató de TV3 en recerca en la
• Cerca bibliogràfica malaltia(es) (científica i
• Altres metodològica)
• Europeus
majoritàriament

8. Selecció dels avaluadors (2)
( )
1.041 invitacions
a participar
230 811
Taxa de resposta: 22 1%
22,1%
respostes no respostes
139 91
Reviewer form declinen Taxa de cooperació: 60,4%
131 8
Taxa de resposta efectiva: 94,2%
avaluadors “pèrdues”

9. Selecció dels avaluadors (i 4)
( )
 Conflicte d’interès
 Manteniment confidencialitat
 Absència conflicte d’interès
 Guia d’avaluació
 Bases de la convocatòria
 Acceptació de les normes establertes per a l’avaluació dels
projectes presentats
 conducta ètica
 coneixement sobre el tema a avaluar
 capacitat per redactar crítiques constructives
 adaptació al calendari d’avaluació establert
d t ió l l d i d’ l ió t bl t

10. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

11. Assignació
g
 Tipus de recerca
 Tipus de projecte / expertesa de l’avaluador
 Mé d’
Més d’un projecte per avaluador
j t l d
 Cerca “manual” d avaluadors per projectes concrets
Cerca manual d’avaluadors per projectes concrets

12. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

13. Avaluació (1)
( )
 Avaluació dels projectes de recerca
 Coneixement del tema
 Adequació i especificitat d’hipòtesis, objectius i metodologia
 Rellevància científica, sanitària i social
 F tibilit t l d t b ll i
Factibilitat, pla de treball i cronograma presentats
t t
 Disponibilitat de recursos i adequació del pressupost sol∙licitat
 Avaluació curricular dels equips investigadors
Avaluació curricular dels equips investigadors
 Trajectòria i expertesa de l’equip investigador
 Experiència prèvia en la línia de recerca
Experiència prèvia en la línia de recerca
 Composició de l’equip
 Diversitat de disciplines i centres participants
Diversitat de disciplines i centres participants

14. Avaluació (2)
( )
 Qüestionari estructurat
Puntuació quantitativa Valoració qualitativa
• Totalment: 3 punts • Finançable F
• Bastant: 2 punts • F amb reserves FR
• Poc: 1 punt • Dubtós D
• Gens: 0 punts • No finançable NF
Puntuació total (0-30):
(suma punts/preguntes respostes)*10

15. Avaluació (3)
( )
Finançable Finançable amb Dubtós No finançable
( )
(F) reserves (FR)
( ) ( )
(Q) ( )
(NF)
F‐F FR ‐ FR D‐D Q‐ NF
F ‐ FR FR ‐ D NF
NF‐ NF
Avaluació per part
A l ió t
Discordant
F‐D d’un tercer
FR ‐ NF avaluador
F ‐ NF independent

16. Avaluació (i 4)
( )
Discordant
F‐D
FR ‐ NF
F ‐ NF
Finançable amb
Fi bl b Dubtós
D btó No finançable
N fi bl
reserves (FR) (Q) (NF)
F‐F‐D F ‐ D‐ D F ‐ NF‐ NF
F ‐FR ‐ D F ‐ D‐ NF FR ‐ D‐ NF
F ‐ F ‐ NF F ‐ FR ‐ NF FR ‐ NF‐ NF
FR ‐ FR ‐ NF

17. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

18. Propietats mètriques del qüestionari (1)
p q q ( )
Per a cada projecte:
Combinació de 2 (3) valoracions
 2 (3) valoracions
qualitatives en una sola
qualitatives
Mitjana de les 2 (3) puntuacions
 2 (3) puntuacions
quantitatives
quantitatives

19. Propietats mètriques del qüestionari (i 2)
p q q ( )
 Fiabilitat/consistència interna: Precisió de la puntuació quantitativa total
Fiabilitat/consistència interna: Precisió de la puntuació quantitativa total
basada en l'homogeneïtat (intercorrelacions) dels ítems del qüestionari
d'avaluació
d' l ió
 Alfa de Cronbach
 Validesa relacionada amb el criteri: Habilitat del qüestionari d'avaluació
per discriminar la qualitat dels projectes
 Mitjana, DE, efectes terra i sostre
 Correlació entre la puntuació quantitativa mitjana i la valoració
Correlació entre la puntuació quantitativa mitjana i la valoració
qualitativa (criteri de mesura)
 Anàlisi discriminant : tècnica receiver operating characteristics (ROC)

20. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

21. Selecció dels projectes a finançar (1)
p j ç ( )
C iè dh S
Comitè ad‐hoc Setembre
b
 Avaluadors europeus
 B – C ‐ E
 2 observadors externs
 El Coordinador de la Comissió Assessora de la Fundació
La Marató de TV3
 U
Una representant de la Fundació La Marató de TV3
d l F d ió L M ó d TV3
 4 membres de l’Agència
 Coordinació de les reunions
d ód l

22. Els diners recaptats
permeten fi
t finançar
un nombre limitat
dels ill
d l millors
projectes

23. Selecció dels projectes a finançar (2)
p j ç ( )
 Selecció i revisió de tots els projectes finançables
 Discordants que incloïen 2 valoracions “F”
q
 Abstract
 Comentaris dels avaluadors
 Projecte sencer
j

24. Selecció dels projectes a finançar (3)
p j ç ( )
Priorització dels projectes (criteris explícits establerts a priori)
 La qualitat dels projectes, d acord amb els comentaris fets
La qualitat dels projectes, d’acord amb els comentaris fets
pels avaluador
 L importància i la rellevància
L’importància i la rellevància
 La viabilitat i/o capacitat per dur a terme el projecte
 L’experiència prèvia de l’equip investigador amb projectes
L’ iè i è i d l’ i i i d b j
d’igual temàtica, sense oblidar de donar oportunitat a
joves investigadors
joves investigadors
 L’interès del projecte per novedós

25. Selecció dels projectes a finançar (i 4)
p j ç ( )
 Revisió dels pressupostos sol∙licitats
 Modificacions suggerides pels avaluadors
 Elaboració del llistat de projectes prioritaris per
Elaboració del llistat de projectes prioritaris per
al seu finançament
 Projectes prioritaris
Projectes prioritaris
 Reserves prioritzades i amb rànquing

26. Procés d’avaluació
1. Recepció i anonimització dels projectes
2. Selecció dels avaluadors
2 Selecció dels avaluadors
3. Assignació dels projectes als avaluadors
4. Avaluació
5. A àli i i l ifi ió d l
Anàlisi i classificació dels projectes
j t
6. Selecció dels projectes a finançar
p j ç
7. Presentació dels resultats

27. Presentació dels resultats
 Comissió Assessora de la Fundació
 Informes anuals del
procés d’avaluació
d avaluació
www.gencat.cat/salut/depsan/units/aatrm
/html/ca/dir297/index.html

28. Procés d’
P é d’avaluació d l
l ió dels
projectes de recerca presentats
p j p
a la Convocatòria de la
Fundació La Marató de TV3
Agència d’Informació Avaluació i
d Informació
Qualitat en Salut(AIAQS)
www.aatrm.net
Àrea de Recerca en Ciències de la Salut