2. Housekeeping
• 11.30-13.00
• Presentation of evaluation results
(David Osimo)
• Discussion
• Presentation of ideas for the future
of Kublai
• Discussion
• Wrap up
• Remember: you can pose
questions during the presentation
and the discussion using the chat
window
2
3. What is Kublai?
• Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It
has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to
help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the
local level.
• Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing
collaboration amongst people who share the common interest based on the assumption that innovation is always a
collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and
every participant to Kublai’s social platform can choose the most appropriate way to interact with others.
• The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available
to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms,
and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects
at the end of the process, to the sources of competitive funding most appropriate for them – both private and public.
• Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation
project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of
consultancy and/or training services needed for project take-off.
• The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among
many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film
Voices, Kinovan, Fund For Culture, AerialClick.
3Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/
7. Participant’s profile
• >35 yrs (58%)
• >University degree (73%)
• Equally from north or southern Italy, men or
women
• 67% employed, of which 73% with at least 3yrs
experience, mostly as independent
7
8. Before joining Kublai…
58%
47%
26%
37%
0% 20% 40% 60% 80% 100%
I had dra ed a project
I had managed an ini a ve (profit or
nonprofit)
I had received public funding
I had used other services to support project
prepara on
8
9. If you used other services, how is Kublai
with respect to them?…
9
7%
18%
18%
4%
21%
32%
Much lessuseful
Lessuseful
Asuseful
More useful
Much more useful
Useful but in a
different way
10. How useful was Kublai (1 to 5)
10
1 1.5 2 2.5 3 3.5 4 4.5 5
Participation to the web forum
Feedback from other members
Participating at events
Usage of material produced by the project
Feedback from staff
11. How did you benefit (1 to 5)
11
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquiring collaborationswith government
Visibility and capacity to attract funding
Opening partnershipswith other membersof Kublai
Acquiring professional skills
Improving the project idea
Acquiring a culture of sharing and collaborating
12. Did you implement the project?
12
31%
23%
46%
Yes, asplanned
Yes, but differently
No
13. Would you have implemented it without
Kublai?
13
53%
10%
21%
16% Yes
Yes, but it would have been
worse
Yes, but it would have taken
more time
No
14. If you implemented the project…
14
91%
55%
0% 10%20%30%40%50%60%70%80%90%100%
Isthe project still active?
Did you create a businessor an association
out of it?
15. Finally
15
87%
76%
0% 20% 40% 60% 80% 100%
Would you recommend Kublai to
others?
Would you present other projects
to Kublai
30% would accept to pay 5
EUR/month or more
16. Discussion: what options for the future?
• Platform funded by several funding agencies
• Spin out as a company
• Community service for open innovation , such as
Innocentive
• Crowdfunding
• Outsourcing to another public agencies
16
18. Obiettivi della valutazione (da D1)
Obiettivo generale
• Fornire un strumento utile ad una presa di decisione razionale
ed evidence-based
Obiettivi specifici
• Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi
• Studio di fattibilità sull’assetto futuro dell’iniziativa
• Informazione e sensibilizzazione sul progetto interna alla
amministrazione e nei confronti dell’opinione pubblica
18
19. Obiettivi del progetto (da D1)
Obiettivi principali
• Migliorare l’Beneficio dei fondi strutturali
• Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici
• Fornire ai creativi competenze necessarie alla progettazione e
alla redazione di bandi
• Coinvolgere i creativi nei programmi di finanziamento pubblico
attraverso un approccio informale e peer to peer
Obiettivi accessori
• Aumentare il numero di utenti supportati attraverso l’utilizzo di
meccanismi peer to peer
• Raggiungere nuove competenze utili al Ministero
• Diffondere verso altri programmi approcci alla Kublai
• Incoraggiare la condivisione di conoscenza e idee fra i
partecipanti
19
20. Benefici attesi per i partecipanti (da D1)
Benefici dell’iniziativa
• Generica acquisizione di competenze in materia di elaborazione
dei progetti
• Ottenimento di specifici consigli utili al miglioramento del
progetto
• Promozione e comunicazione del progetto verso possibili
finanziatori
• Capacità di networking ed accesso a possibili collaboratori del
progetto
• Conseguimento di concrete collaborazioni con altri Kublaiani
20
21. Methodology
What Status
Casi studio In fase di completamento
Survey Completata - 81 rispondenti su 575 portatori di
progetto contattati in 4 istanze:
Prima mail generale contenente la survey
Seconda mail collettiva di richiamo
Mail collettiva di richiamo da parte dello staff
di Uval
Messaggio personale sulla piattafoma a oltre
200 promotori iscritti negli anni 2011-2014
Analisi dei dati Della piattaforma Completata
Studio di fattibilità In corso
21
23. Rilevanza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è coinvolto il target previsto
(creative innovativi con scarse
competenze progettuali da aree
svantaggiate)?
% di utenti nuovi ai
finanziamenti pubblici
survey portatori di progetto
% da sud Italia; % laureati survey portatori di progetto
valutazione originalità di
progetti
desk-based analisi dei progetti
% di utenti che non avevano
realizzato progetti autonomi fino
ad oggi
survey portatori di progetto
distribuzione geografica utenti
attivi/portatori di progetto
survey portatori di progetto
% di progetti con forte componente
web
Dati piattaforma
Adeguatezza del peer to peer % di partecipanti che hanno
proposto idee di progetto;
Dati piattaforma
% di utenti che valutano
utile/molto utile I consigli di altri
Kublaiani
survey portatori di progetto
23
24. Efficienza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è ottenuta una adeguata
partecipazione?
n. utenti; % utenti attivi; trend
nel tempo
dati di progetto
n. commenti dati di progetto
n. commenti totali/n commenti
staff
dati piattaforma
costo per commento; costo
per utente
dati piattaforma/dati di progetto
si è riuscito ad aiutare un numero
di utenti più' elevati dei servizi
tradizionali?
costo per utente supportato /
anno
dati di progetto
24
25. Efficacia e addizionalità: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Valore dei consigli ricevuti % di utenti che rispondono utile
o molto utile
survey portatori di progetto
Quanto ha fornito elementi unici
rispetto ad altre piattaforme? %
di utenti che rispondono si
survey portatori di progetto
Lo staff centrale ha fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
I kublaiani hanno fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
Servizi più utili di Kublai survey portatori di progetto
Saresti disposto a pagare una
fee (10 E mensuali) per usare
Kublai / attribuisci un valore ai
consigli ricevuti su Kublai - %
di utenti che rispondono si
survey portatori di progetto
25
26. Domanda Indicatore Fonte
Efficacia dell’autoselezione % di progetti di successo fra I 50 più
discussi
analisi desk e dati piattaforma
corrispondenza fra progetti più
discussi e progetti vincitori
dati piattaforma; risultati awards
Acquisizione di competenze Scelta multipla: % di utenti che
rispondono si
survey portatori di progetto
Esempi di progetti migliorati
sensibilmente
Casi di studio
I progetti sono diventati realtà? (incl.
data)
% di utenti che rispondono si ; %
su categorie specifiche
survey portatori di progetto
% di utenti che hanno ricevuto
finanziamenti ; % su categorie
specifiche
survey portatori di progetto
se si, in che misura questo
successo è attribuibile a Kublai %
di utenti che rispondono rilevante
o molto rilevante
survey portatori di progetto
Beneficio su cittadini numero totale utenti dei servizi
realizzati
Survey portatori di progetto
nuove collaborazioni reclutate
tramite Kublai
numero intervista a committente
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
26
27. Efficacia – Utilità percepita delle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
La partecipazione al forum web
Il feedback ricevuto da altri Kublaiani
La partecipazione ad eventi
Uso di materiale prodotto dal progetto
Il feedback ricevuto dallo staff
27
28. Efficacia – Benefici percepiti dalle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquisizione di nuove collaborazioni con
un’amministrazione pubblica
Visibilità e capacità di ottenere finanziamenti
pubblici o privati
Apertura di collaborazioni con altri Kublaiani
Acquisizione di skills professionali
Miglioramento dell’idea progettuale
Sviluppo dell’attitudine alla condivisione e
collaborazione
28
29. Efficacia – Realizzazione del progetto
31%
23%
46%
Si, esattamente come
previsto
Si, in maniera differente
No
54% ha
realizzato il
progetto
29
30. Efficacia – Rapporto fra feedback forniti e ricevuti
14%
4%
43%
20%
19%
Dato molto di più
Dato un po di più
Paritario
Ricevuto un po di più
Ricevuto molto di più
39% ha saldo
positivo contro il
18% con saldo
negativo
30
31. Efficacia – Misura in cui sono state condivise informazioni
5%
18%
27%
32%
18%
Per nulla
Poco
Abbastanza
Molto
Moltissimo
Il 50% ha
condiviso
molto, il
23% ha
condiviso
poco
31
32. Efficacia – Soddisfazione generale di Kublai
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?
Il 30% sarebbe
disposto a
pagare almeno
5 EUR/mese
32
33. Addizionalità – Realizzazione del progetto senza Kublai
53%
10%
21%
16%
Si
Si, avrei avviato
un'iniziativa diversa/più
debole
Si, ma ci avrei messo più
tempo
No
47% ha avuto
un effetto
addizionale da
Kublai
(Base: solo chi
ha realizzato il
progetto)
33
34. Addizionalitá – Giudizio su Kublai rispetto ad altri servizi
alla progettazione
7%
18%
18%
4%
21%
32%
Molto meno utile
Meno utile
Di uguale utilità
Poco più utile
Molto più utile
Utile, ma in maniera
diversa
57% ha avuto
valore aggiunto
da Kublai
rispetto ad altri
servizi
(Base: solo chi
ha utilizzato altri
servizi)
34
35. Domanda Indicatore Fonte
La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma
I progetti supportati sono
continuati?
% di utenti che rispondono si survey portatori di progetto
Hanno condotto alla creazione di
imprese e posti di lavoro?
% di utenti che rispondono si survey portatori di progetto
Gli enti beneficiari sono interessati
ai servizi di Kublai?
numero di enti interviste a stakeholder
L’approccio Kublai è stato adottato
da altri enti pubblici?
numero casi citati intervista a committente /
stakeholder
Sostenibilità: domande, indicatori e fonti di valutazione
35
36. Sostenibilità – Progetti e creazione di attivitá economiche
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Il progetto è ancora attivo?
Ha creato un'impresa, un'associazione o una cooperativa a seguito del
progetto?
36
37. Analisi statistica
Analisi Metodologia
Creazione di gruppi basati sulle variabili di profilo K-means clustering
Estrazione di due variabili:
Utilità percepita
o Feedback ricevuto dallo staff
o Feedback ricevuto da altri Kublaiani
o Uso di materiale del progetto
o Partecipazione ad eventi
o Partecipazione al forum web
Beneficio percepito
o Sviluppo dell’attitudine alla condivisione e
alla collaborazione
o Miglioramento dell’idea progettuale
o Miglioramento di skills professionali
o Apertura di collaborazioni con altri Kublaiani
o Visibilità e capacità di ottenere finanziamenti
o Acquisizione di collaborazioni con
un’amministrazione pubblica
Factor analysis
Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance
Correlazione tra variabili Pearson's chi-squared test
37
38. Risultati dell’analisi statistica (1)
• PRESENZA di correlazione significativa tra Beneficio/utilità
o Provenienza da regioni convergenti
o Difficoltà nella realizzazione del progetto
o Condivisione delle informazioni
• MANCANZA di correlazione significativa tra Beneficio/utilità
o Esperienza in redazione di progetti
o Esperienza in gestione di iniziative
o Aver già ottenuto finanziamenti prima di Kublai
o Esperienza professionale
o Livello educativo
o Tipo di occupazione
38
39. Risultati dell’analisi empirica (2)
• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:
o Utilità dell’uso del materiale di progetto
o Utilità del feedback ricevuto dallo staff
o Utilità del feedback ricevuto dagli altri Kublaiani
o Utilità di Kublai nell’acquisizione di skills professionali
• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria
• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo
• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri
Progetti su Kublai
39
40. In altre parole
• I Kublaiani del sud e quelli senza esperienza
manageriale giudicano Kublai piú utile
• I Kublaiani con esperienza manageriale hanno
maggiore probabilitá di realizzare il progetto, ma lo
avrebbero realizzato indipendentemente da Kublai
• Non ci sono altre differenze significative nel
beneficio fra Kublaiani skilled/unskilled
40
41. Conclusioni generali (1)
Kublai ha avuto un impatto positivo in termini di impulso alla creazione di
una comunità di progettisti e di stimolo alla progettazione. In particolare
l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti
da regioni svantaggiate e con poca competenza nel campo manageriale.
Rilevanza
• Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti
coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza
Efficienza
• Il progetto è indubbiamente molto efficiente dal punto di vista del costo per
commento, sebbene non vi siano elementi per valutare il rapporto tra risorse
impiegate ed iniziative create
41
42. Conclusioni generali (2)
Efficacia
•La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia
difficile determinare cosa il promotore intenda specificamente per progetto
•Tutte le attività principali del progetto vengono percepite come utili, in particolare
il feedback dello staff, mentre i benefici percepiti paiono limitati
• Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione
•I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una
buona parte (30%) sarebbe addirittura disposta a pagare per il servizio
Addizionalità
•Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o
l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la
maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghi
Sostenibilità
•L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012
•La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma
solo una modesta parte si traduce in attività economiche
42
43. Idee per lo studio di fattibilitá (1) (TBC)
43
44. Idee per lo studio di fattibilitá (2) (TBC)
44
45. Prossimi steps
What When
Webinar sullo studio di fattibilità 4 Luglio
Conclusione analisi dei dati della piattaforma 6 Luglio
Conclusione dei casi studio
13 Luglio
Invio report finale sulla valutazione sulla base
dei commenti ricevuti
20 Luglio
Conclusione dello studio di fattibilità 31 Luglio
45
49. Anova output – esempio caso significativo
Sum of Squares df
Mean
Square
F Sig.
Perceived Impact
Between Groups 4,846 1 4,846 5,046 ,028
Within Groups 72,032 75 ,960
Total 76,878 76
Perceived utility
Between Groups 4,427 1 4,427 4,628 ,035
Within Groups 75,573 79 ,957
Total 80,000 80
49
50. Anova output – Statistica descrittiva
N Mean
Std.
Deviation
Std. Error
95% Confidence
Interval for Mean
Minimum Maximum
Between-
Compone
nt
Variance
Lower
Bound
Upper
Bound
FAC1_1
Perceived
Impact
Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135
Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376
Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376
Model
Fixed
Effects
,98001335 ,11168289 -,2135680 ,2313994
Random
Effects
,25172823 -3,1895948 3,2074262 ,10136068
FAC1_2
Perceived
utility
Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963
Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963
Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963
Model
Fixed
Effects
,97806867 ,10867430 -,2163108 ,2163108
Random
Effects
,23606644 -2,9995085 2,9995085 ,08676337
50
53. Means plotsBeneficiopercepito
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
53
54. Means plotsUtilitàpercepita
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
54
58. Anova output – esempio caso non significativo
Sum of Squares df
Mean
Square
F Sig.
FAC1_1 Perceived Impact
Between
Groups
1,480 1 1,480 1,457 ,231
Within Groups 75,181 74 1,016
Total 76,661 75
FAC1_2 Perceived utility
Between
Groups
3,979 1 3,979 4,100 ,046
Within Groups 75,707 78 ,971
Total 79,687 79
58
59. Means plots
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti
Beneficiopercepito
59
66. Pearson's chi-squared test – esempio caso significativo
Value df
Asymp. Sig. (2-
sided)
Pearson Chi-Square 13.034
a
4 ,011
Likelihood Ratio 13,673 4 ,008
Linear-by-Linear
Association
1,513 1 ,219
N of Valid Cases 80
a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.
66
68. Analisi della correlazione (2)
00%
10%
20%
30%
40%
50%
60%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Utilità del feedback ricevuto dallo staff
68
69. Analisi della correlazione (3)
Utilità del feedback ricevuto dagli altri Kublaiani
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
69
70. Analisi della correlazione (4)
Utilità di Kublai nell’acquisizione di skills professionali
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
70
71. Analisi della correlazione (5)
Ha realizzato il progetto?
00%
10%
20%
30%
40%
50%
60%
70%
No Si
Esperienza manageriale
Si Si, in maniera diversa No
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
71
72. Analisi della correlazione (6)
Sarebbe riuscito a realizzare
il suo progetto senza Kublai?
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
No Si
Esperienza manageriale
Si
Si, ma avrei avviato
un’iniziativa diversa/più
debole
Si, ma avrei impiegato più
tempo
No
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
72
73. Analisi della correlazione (7)
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regioni competitive Regioni convergenti
Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai
73