2. Status della valutazione
What Status
Casi studio In fase di completamento
Survey Completata - 81 rispondenti su 575 portatori di
progetto contattati in 4 istanze:
Prima mail generale contenente la survey
Seconda mail collettiva di richiamo
Mail collettiva di richiamo da parte dello staff
di Uval
Messaggio personale sulla piattafoma a oltre
200 promotori iscritti negli anni 2011-2014
Analisi dei dati Della piattaforma Completata
Studio di fattibilità In corso
3. Obiettivi della valutazione
Obiettivo generale
• Fornire un strumento utile ad una presa di decisione razionale
ed evidence-based
Obiettivi specifici
• Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi
• Studio di fattibilità sull’assetto futuro dell’iniziativa
• Informazione e sensibilizzazione sul progetto interna alla
amministrazione e nei confronti dell’opinione pubblica
4. Obiettivi del progetto
Obiettivi principali
• Migliorare l’impatto dei fondi strutturali
• Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici
• Fornire ai creativi competenze necessarie alla progettazione e
alla redazione di bandi
• Coinvolgere i creativi nei programmi di finanziamento pubblico
attraverso un approccio informale e peer to peer
Obiettivi accessori
• Aumentare il numero di utenti supportati attraverso l’utilizzo di
meccanismi peer to peer
• Raggiungere nuove competenze utili al Ministero
• Diffondere verso altri programmi approcci alla Kublai
• Incoraggiare la condivisione di conoscenza e idee fra i
partecipanti
5. Benefici attesi per i partecipanti
Benefici dell’iniziativa
• Generica acquisizione di competenze in materia di elaborazione
dei progetti
• Ottenimento di specifici consigli utili al miglioramento del
progetto
• Promozione e comunicazione del progetto verso possibili
finanziatori
• Capacità di networking ed accesso a possibili collaboratori del
progetto
• Conseguimento di concrete collaborazioni con altri Kublaiani
8. Risultati per criterio di valutazione
• Rilevanza
• Efficienza
• Efficacia
• Addizionalita’
• Sostenibilita’
9. Rilevanza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è coinvolto il target previsto
(creative innovativi con scarse
competenze progettuali da aree
svantaggiate)?
% di utenti nuovi ai
finanziamenti pubblici
survey portatori di progetto
% da sud Italia; % laureati survey portatori di progetto
valutazione originalità di
progetti
desk-based analisi dei progetti
% di utenti che non avevano
realizzato progetti autonomi fino
ad oggi
survey portatori di progetto
distribuzione geografica utenti
attiv/portatori di progettoi
survey portatori di progetto
% di progetti con forte componente
web
Dati piattaforma
Adeguatezza del peer to peer % di partecipanti che hanno
proposto idee di progetto;
Dati piattaforma
% di utenti che valutano
utile/molto utile I consigli di altri
kublaiani
survey portatori di progetto
10. Rilevanza – Area d’impatto dei progetti
15%
12%
42%
31%
Nord
Centro
Sud e Isole
Livello Nazionale
11. Rilevanza - Area di provenienza dei progettisti
56%
44%
Regione competitiva
Regione convergente
15. Rilevanza – Livello educativo dei progettisti
1%
26%
48%
15%
10%
Scuole Elementari
Scuole Superiori
Laurea
Master
Dottorato di Ricerca
73% ha laurea
16. Rilevanza – Status lavorativo dei progettisti
16%
17%
31%
27%
9%
Studente
In cerca di occupazione
Libero professionista
Dipendente
Imprenditore
67% e’
occupato
17. Rilevanza – Anni di esperienza dei progettisti
15%
10%
34%
41% <1
1-3
3-10
>10
75% ha più
di 3 anni di
esperienza
18. 58%
47%
26%
37%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Aveva mai redatto un progetto prima di partecipare a
Kublai?
Aveva mai gestito iniziative (profit o nonprofit)?
Aveva già ricevuto finanziamenti pubblici o privati per i
suoi progetti, prima di aver presentato il progetto a
Kublai?
Oltre a Kublai, ha mai usato altri servizi di supporto alla
progettazione
Si
No
Rilevanza – Esperienza precedente a Kublai
19. Efficienza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è ottenuta una adeguata
partecipazione?
n. utenti; % utenti attivi; trend
nel tempo
dati di progetto
n. commenti dati di progetto
n. commenti totali/n commenti
staff
dati piattaforma
costo per commento; costo
per utente
dati piattaforma/dati di progetto
si è riuscito ad aiutare un numero
di utenti più' elevati dei servizi
tradizionali?
costo per utente supportato /
anno
dati di progetto
20. Efficienza: risultati della valutazione
Budget totale (7 anni) € 1.441.514,00
N. Commenti totali 15959
N. Utenti totali 3861
N. Progetti totali 576
Costo per commento € 90,33
Costo per utente € 373,35
Costo per progetto € 2.502,63
90
550
Kublai EU ePar cipa on
project
Costo per commento in EUR
21. Efficacia e addizionalità: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Valore dei consigli ricevuti % di utenti che rispondono utile
o molto utile
survey portatori di progetto
Quanto ha fornito elementi unici
rispetto ad altre piattaforme? %
di utenti che rispondono si
survey portatori di progetto
Lo staff centrale ha fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
I kublaiani hanno fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
Servizi più utili di Kublai survey portatori di progetto
Saresti disposto a pagare una
fee (10 E mensuali) per usare
Kublai / attribuisci un valore ai
consigli ricevuti su Kublai - %
di utenti che rispondono si
survey portatori di progetto
22. Domanda Indicatore Fonte
Efficacia dell’autoselezione % di progetti di successo fra I 50 più
discussi
analisi desk e dati piattaforma
corrispondenza fra progetti più
discussi e progetti vincitori
dati piattaforma; risultati awards
Acquisizione di competenze Scelta multipla: % di utenti che
rispondono si
survey portatori di progetto
Esempi di progetti migliorati
sensibilmente
Casi di studio
I progetti sono diventati realtà? (incl.
data)
% di utenti che rispondono si ; %
su categorie specifiche
survey portatori di progetto
% di utenti che hanno ricevuto
finanziamenti ; % su categorie
specifiche
survey portatori di progetto
se si, in che misura questo
successo è attribuibile a Kublai %
di utenti che rispondono rilevante
o molto rilevante
survey portatori di progetto
Impatto su cittadini numero totale utenti dei servizi
realizzati
Survey portatori di progetto
nuove collaborazioni reclutate
tramite Kublai
numero intervista a committente
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
23. Efficacia – Utilità percepita delle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
La partecipazione al forum web
Il feedback ricevuto da altri Kublaiani
La partecipazione ad eventi
Uso di materiale prodotto dal progetto
Il feedback ricevuto dallo staff
24. Efficacia – Benefici percepiti dalle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquisizione di nuove collaborazioni con
un’amministrazione pubblica
Visibilità e capacità di ottenere finanziamenti
pubblici o privati
Apertura di collaborazioni con altri Kublaiani
Acquisizione di skills professionali
Miglioramento dell’idea progettuale
Sviluppo dell’attitudine alla condivisione e
collaborazione
25. Efficacia – Realizzazione del progetto
31%
23%
46%
Si, esattamente come
previsto
Si, in maniera differente
No
54% ha
realizzato il
progetto
26. Efficacia – Rapporto fra feedback forniti e ricevuti
14%
4%
43%
20%
19%
Dato molto di più
Dato un po di più
Paritario
Ricevuto un po di più
Ricevuto molto di più
39% ha saldo
positivo contro il
18% con saldo
negativo
27. Efficacia – Misura in cui sono state condivise informazioni
5%
18%
27%
32%
18%
Per nulla
Poco
Abbastanza
Molto
Moltissimo
Il 50% ha
condiviso
molto, il
23% ha
condiviso
poco
28. Efficacia – Soddisfazione generale di Kublai
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?
Il 30% sarebbe
disposto a pagare
almeno 5
EUR/mese
29. Addizionalità – Realizzazione del progetto senza Kublai
53%
10%
21%
16%
Si
Si, avrei avviato un'iniziativa
diversa/più debole
Si, ma ci avrei messo più
tempo
No
47% ha avuto
un effetto
addizionale da
Kublai
(Base: solo chi
ha realizzato il
progetto)
30. Addizionalitá – Giudizio su Kublai rispetto ad altri servizi
alla progettazione
7%
18%
18%
4%
21%
32%
Molto meno utile
Meno utile
Di uguale utilità
Poco più utile
Molto più utile
Utile, ma in maniera diversa
57% ha avuto
valore aggiunto
da Kublai
rispetto ad altri
servizi
(base: solo chi ha
utilizzato altri
servizi)
31. Domanda Indicatore Fonte
La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma
I progetti supportati sono
continuati?
% di utenti che rispondono si survey portatori di progetto
Hanno condotto alla creazione di
imprese e posti di lavoro?
% di utenti che rispondono si survey portatori di progetto
Gli enti beneficiari sono interessati
ai servizi di Kublai?
numero di enti interviste a stakeholder
L’approccio Kublai è stato adottato
da altri enti pubblici?
numero casi citati intervista a committente /
stakeholder
Sostenibilità: domande, indicatori e fonti di valutazione
33. Sostenibilità – Progetti e creazione di attivitá economiche
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Il progetto è ancora attivo?
Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto?
34. Rilevanza - Analisi empirica sull’impatto
Analisi Metodologia
Creazione di gruppi basati sulle variabili di profilo K-means clustering
Estrazione di due variabili:
Utilità percepita
o Feedback ricevuto dallo staff
o Feedback ricevuto da altri Kublaiani
o Uso di materiale del progetto
o Partecipazione ad eventi
o Partecipazione al forum web
Impatto percepito
o Sviluppo dell’attitudine alla condivisione e
alla collaborazione
o Miglioramento dell’idea progettuale
o Miglioramento di skills professionali
o Apertura di collaborazioni con altri Kublaiani
o Visibilità e capacità di ottenere finanziamenti
o Acquisizione di collaborazioni con
un’amministrazione pubblica
Factor analysis
Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance
Correlazione tra variabili Pearson's chi-squared test
35. Risultati dell’analisi empirica (1)
• PRESENZA di correlazione significativa tra impatto/utilità
o Provenienza da regioni convergenti
o Difficoltà nella realizzazione del progetto
o Condivisione delle informazioni
• MANCANZA di correlazione significativa tra impatto/utilità
o Esperienza in redazione di progetti
o Esperienza in gestione di iniziative
o Aver già ottenuto finanziamenti prima di Kublai
o Esperienza professionale
o Livello educativo
o Tipo di occupazione
36. Risultati dell’analisi empirica (2)
• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:
o Utilità dell’uso del materiale di progetto
o Utilità del feedback ricevuto dallo staff
o Utilità del feedback ricevuto dagli altri Kublaiani
o Utilità di Kublai nell’acquisizione di skills professionali
• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria
• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo
• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri
Progetti su Kublai
37. Rilevanza….in altre parole
• I Kublaiani del sud ed quelli senza esperienza
manageriale giudicano Kublai piú utile
• I Kublaiani con esperienza manageriale hanno
maggiore probabilitá di realizzare il progetto, ma lo
avrebbero realizzato indipendentemente da Kublai
• Non ci sono altre differenze significative nell’impatto
fra Kublaiani skilled/unskilled
42. Prossimi steps
What When
Webinar sullo studio di fattibilità 4 Luglio
Conclusione analisi dei dati della piattaforma 6 Luglio
Conclusione dei casi studio
13 Luglio
Invio report finale sulla valutazione sulla base
dei commenti ricevuti
20 Luglio
Conclusione dello studio di fattibilità 31 Luglio
46. Anova output – esempio caso significativo
Sum of Squares df
Mean
Square
F Sig.
Perceived Impact
Between Groups 4,846 1 4,846 5,046 ,028
Within Groups 72,032 75 ,960
Total 76,878 76
Perceived utility
Between Groups 4,427 1 4,427 4,628 ,035
Within Groups 75,573 79 ,957
Total 80,000 80
47. Anova output – Statistica descrittiva
N Mean
Std.
Deviation
Std. Error
95% Confidence
Interval for Mean
Minimum Maximum
Between-
Compone
nt
Variance
Lower
Bound
Upper
Bound
FAC1_1
Perceived
Impact
Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135
Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376
Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376
Model
Fixed
Effects
,98001335 ,11168289 -,2135680 ,2313994
Random
Effects
,25172823 -3,1895948 3,2074262 ,10136068
FAC1_2
Perceived
utility
Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963
Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963
Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963
Model
Fixed
Effects
,97806867 ,10867430 -,2163108 ,2163108
Random
Effects
,23606644 -2,9995085 2,9995085 ,08676337
50. Means plots
Impattopercepito
In che misura ha condiviso informazioni sul progetto?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
51. Means plots
Utilitàpercepita
In che misura ha condiviso informazioni sul progetto?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
54. Anova output – esempio caso non significativo
Sum of Squares df
Mean
Square
F Sig.
FAC1_1 Perceived Impact
Between
Groups
1,480 1 1,480 1,457 ,231
Within Groups 75,181 74 1,016
Total 76,661 75
FAC1_2 Perceived utility
Between
Groups
3,979 1 3,979 4,100 ,046
Within Groups 75,707 78 ,971
Total 79,687 79
55. Means plots
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti
Impattopercepito
57. Pearson's chi-squared test – esempio caso significativo
Value df
Asymp. Sig. (2-
sided)
Pearson Chi-Square 13.034
a
4 ,011
Likelihood Ratio 13,673 4 ,008
Linear-by-Linear
Association
1,513 1 ,219
N of Valid Cases 80
a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.
59. Analisi della correlazione (2)
00%
10%
20%
30%
40%
50%
60%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Utilità del feedback ricevuto dallo staff
60. Analisi della correlazione (3)
Utilità del feedback ricevuto dagli altri Kublaiani
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
61. Analisi della correlazione (4)
Utilità di Kublai nell’acquisizione di skills professionali
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
62. Analisi della correlazione (5)
Ha realizzato il progetto?
00%
10%
20%
30%
40%
50%
60%
70%
No Si
Esperienza manageriale
Si Si, in maniera diversa No
63. Analisi della correlazione (6)
Sarebbe riuscito a realizzare
il suo progetto senza Kublai?
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
No Si
Esperienza manageriale
Si
Si, ma avrei avviato
un’iniziativa diversa/più
debole
Si, ma avrei impiegato più
tempo
No
64. Analisi della correlazione (7)
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regioni competitive Regioni convergenti
Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai