SlideShare une entreprise Scribd logo
1  sur  73
Evaluating Kublai:
key findings
1
Housekeeping
• 11.30-13.00
• Presentation of evaluation results
(David Osimo)
• Discussion
• Presentation of ideas for the future
of Kublai
• Discussion
• Wrap up
• Remember: you can pose
questions during the presentation
and the discussion using the chat
window
2
What is Kublai?
• Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It
has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to
help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the
local level.
• Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing
collaboration amongst people who share the common interest based on the assumption that innovation is always a
collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and
every participant to Kublai’s social platform can choose the most appropriate way to interact with others.
• The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available
to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms,
and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects
at the end of the process, to the sources of competitive funding most appropriate for them – both private and public.
• Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation
project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of
consultancy and/or training services needed for project take-off.
• The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among
many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film
Voices, Kinovan, Fund For Culture, AerialClick.
3Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/
Participants’ target
4
Usual
suspects
Deserving
winners
Low skills
Missed
opportunities
Not creative
Creative
Don’t receive public funding
Receive public funding
Key indicators
Budget 2008-2014 (7 yrs) € 1.441.514,00
Comments 15.959
Users 3.861
Projects discussed 576
Cost per comment € 90,33
Cost per user € 373,35
Cost per project € 2.502,63
90
550
Kublai EU ePar cipa on
project
Cost per comment (EUR)
5
Participation trends (2008=100)
6
Users
Projects
Comments
Participant’s profile
• >35 yrs (58%)
• >University degree (73%)
• Equally from north or southern Italy, men or
women
• 67% employed, of which 73% with at least 3yrs
experience, mostly as independent
7
Before joining Kublai…
58%
47%
26%
37%
0% 20% 40% 60% 80% 100%
I had dra ed a project
I had managed an ini a ve (profit or
nonprofit)
I had received public funding
I had used other services to support project
prepara on
8
If you used other services, how is Kublai
with respect to them?…
9
7%
18%
18%
4%
21%
32%
Much lessuseful
Lessuseful
Asuseful
More useful
Much more useful
Useful but in a
different way
How useful was Kublai (1 to 5)
10
1 1.5 2 2.5 3 3.5 4 4.5 5
Participation to the web forum
Feedback from other members
Participating at events
Usage of material produced by the project
Feedback from staff
How did you benefit (1 to 5)
11
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquiring collaborationswith government
Visibility and capacity to attract funding
Opening partnershipswith other membersof Kublai
Acquiring professional skills
Improving the project idea
Acquiring a culture of sharing and collaborating
Did you implement the project?
12
31%
23%
46%
Yes, asplanned
Yes, but differently
No
Would you have implemented it without
Kublai?
13
53%
10%
21%
16% Yes
Yes, but it would have been
worse
Yes, but it would have taken
more time
No
If you implemented the project…
14
91%
55%
0% 10%20%30%40%50%60%70%80%90%100%
Isthe project still active?
Did you create a businessor an association
out of it?
Finally
15
87%
76%
0% 20% 40% 60% 80% 100%
Would you recommend Kublai to
others?
Would you present other projects
to Kublai
30% would accept to pay 5
EUR/month or more
Discussion: what options for the future?
• Platform funded by several funding agencies
• Spin out as a company
• Community service for open innovation , such as
Innocentive
• Crowdfunding
• Outsourcing to another public agencies
16
ANNEX
17
Obiettivi della valutazione (da D1)
Obiettivo generale
• Fornire un strumento utile ad una presa di decisione razionale
ed evidence-based
Obiettivi specifici
• Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi
• Studio di fattibilità sull’assetto futuro dell’iniziativa
• Informazione e sensibilizzazione sul progetto interna alla
amministrazione e nei confronti dell’opinione pubblica
18
Obiettivi del progetto (da D1)
Obiettivi principali
• Migliorare l’Beneficio dei fondi strutturali
• Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici
• Fornire ai creativi competenze necessarie alla progettazione e
alla redazione di bandi
• Coinvolgere i creativi nei programmi di finanziamento pubblico
attraverso un approccio informale e peer to peer
Obiettivi accessori
• Aumentare il numero di utenti supportati attraverso l’utilizzo di
meccanismi peer to peer
• Raggiungere nuove competenze utili al Ministero
• Diffondere verso altri programmi approcci alla Kublai
• Incoraggiare la condivisione di conoscenza e idee fra i
partecipanti
19
Benefici attesi per i partecipanti (da D1)
Benefici dell’iniziativa
• Generica acquisizione di competenze in materia di elaborazione
dei progetti
• Ottenimento di specifici consigli utili al miglioramento del
progetto
• Promozione e comunicazione del progetto verso possibili
finanziatori
• Capacità di networking ed accesso a possibili collaboratori del
progetto
• Conseguimento di concrete collaborazioni con altri Kublaiani
20
Methodology
What Status
Casi studio In fase di completamento
Survey Completata - 81 rispondenti su 575 portatori di
progetto contattati in 4 istanze:
Prima mail generale contenente la survey
Seconda mail collettiva di richiamo
Mail collettiva di richiamo da parte dello staff
di Uval
Messaggio personale sulla piattafoma a oltre
200 promotori iscritti negli anni 2011-2014
Analisi dei dati Della piattaforma Completata
Studio di fattibilità In corso
21
Metodologia
22
Rilevanza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è coinvolto il target previsto
(creative innovativi con scarse
competenze progettuali da aree
svantaggiate)?
% di utenti nuovi ai
finanziamenti pubblici
survey portatori di progetto
% da sud Italia; % laureati survey portatori di progetto
valutazione originalità di
progetti
desk-based analisi dei progetti
% di utenti che non avevano
realizzato progetti autonomi fino
ad oggi
survey portatori di progetto
distribuzione geografica utenti
attivi/portatori di progetto
survey portatori di progetto
% di progetti con forte componente
web
Dati piattaforma
Adeguatezza del peer to peer % di partecipanti che hanno
proposto idee di progetto;
Dati piattaforma
% di utenti che valutano
utile/molto utile I consigli di altri
Kublaiani
survey portatori di progetto
23
Efficienza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è ottenuta una adeguata
partecipazione?
n. utenti; % utenti attivi; trend
nel tempo
dati di progetto
n. commenti dati di progetto
n. commenti totali/n commenti
staff
dati piattaforma
costo per commento; costo
per utente
dati piattaforma/dati di progetto
si è riuscito ad aiutare un numero
di utenti più' elevati dei servizi
tradizionali?
costo per utente supportato /
anno
dati di progetto
24
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Valore dei consigli ricevuti % di utenti che rispondono utile
o molto utile
survey portatori di progetto
Quanto ha fornito elementi unici
rispetto ad altre piattaforme? %
di utenti che rispondono si
survey portatori di progetto
Lo staff centrale ha fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
I kublaiani hanno fornito
consigli utili? % di utenti che
rispondono utile o molto utile
survey portatori di progetto
Servizi più utili di Kublai survey portatori di progetto
Saresti disposto a pagare una
fee (10 E mensuali) per usare
Kublai / attribuisci un valore ai
consigli ricevuti su Kublai - %
di utenti che rispondono si
survey portatori di progetto
25
Domanda Indicatore Fonte
Efficacia dell’autoselezione % di progetti di successo fra I 50 più
discussi
analisi desk e dati piattaforma
corrispondenza fra progetti più
discussi e progetti vincitori
dati piattaforma; risultati awards
Acquisizione di competenze Scelta multipla: % di utenti che
rispondono si
survey portatori di progetto
Esempi di progetti migliorati
sensibilmente
Casi di studio
I progetti sono diventati realtà? (incl.
data)
% di utenti che rispondono si ; %
su categorie specifiche
survey portatori di progetto
% di utenti che hanno ricevuto
finanziamenti ; % su categorie
specifiche
survey portatori di progetto
se si, in che misura questo
successo è attribuibile a Kublai %
di utenti che rispondono rilevante
o molto rilevante
survey portatori di progetto
Beneficio su cittadini numero totale utenti dei servizi
realizzati
Survey portatori di progetto
nuove collaborazioni reclutate
tramite Kublai
numero intervista a committente
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
26
Efficacia – Utilità percepita delle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
La partecipazione al forum web
Il feedback ricevuto da altri Kublaiani
La partecipazione ad eventi
Uso di materiale prodotto dal progetto
Il feedback ricevuto dallo staff
27
Efficacia – Benefici percepiti dalle varie attività
1 1.5 2 2.5 3 3.5 4 4.5 5
Acquisizione di nuove collaborazioni con
un’amministrazione pubblica
Visibilità e capacità di ottenere finanziamenti
pubblici o privati
Apertura di collaborazioni con altri Kublaiani
Acquisizione di skills professionali
Miglioramento dell’idea progettuale
Sviluppo dell’attitudine alla condivisione e
collaborazione
28
Efficacia – Realizzazione del progetto
31%
23%
46%
Si, esattamente come
previsto
Si, in maniera differente
No
54% ha
realizzato il
progetto
29
Efficacia – Rapporto fra feedback forniti e ricevuti
14%
4%
43%
20%
19%
Dato molto di più
Dato un po di più
Paritario
Ricevuto un po di più
Ricevuto molto di più
39% ha saldo
positivo contro il
18% con saldo
negativo
30
Efficacia – Misura in cui sono state condivise informazioni
5%
18%
27%
32%
18%
Per nulla
Poco
Abbastanza
Molto
Moltissimo
Il 50% ha
condiviso
molto, il
23% ha
condiviso
poco
31
Efficacia – Soddisfazione generale di Kublai
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?
Il 30% sarebbe
disposto a
pagare almeno
5 EUR/mese
32
Addizionalità – Realizzazione del progetto senza Kublai
53%
10%
21%
16%
Si
Si, avrei avviato
un'iniziativa diversa/più
debole
Si, ma ci avrei messo più
tempo
No
47% ha avuto
un effetto
addizionale da
Kublai
(Base: solo chi
ha realizzato il
progetto)
33
Addizionalitá – Giudizio su Kublai rispetto ad altri servizi
alla progettazione
7%
18%
18%
4%
21%
32%
Molto meno utile
Meno utile
Di uguale utilità
Poco più utile
Molto più utile
Utile, ma in maniera
diversa
57% ha avuto
valore aggiunto
da Kublai
rispetto ad altri
servizi
(Base: solo chi
ha utilizzato altri
servizi)
34
Domanda Indicatore Fonte
La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma
I progetti supportati sono
continuati?
% di utenti che rispondono si survey portatori di progetto
Hanno condotto alla creazione di
imprese e posti di lavoro?
% di utenti che rispondono si survey portatori di progetto
Gli enti beneficiari sono interessati
ai servizi di Kublai?
numero di enti interviste a stakeholder
L’approccio Kublai è stato adottato
da altri enti pubblici?
numero casi citati intervista a committente /
stakeholder
Sostenibilità: domande, indicatori e fonti di valutazione
35
Sostenibilità – Progetti e creazione di attivitá economiche
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Si No
Il progetto è ancora attivo?
Ha creato un'impresa, un'associazione o una cooperativa a seguito del
progetto?
36
Analisi statistica
Analisi Metodologia
Creazione di gruppi basati sulle variabili di profilo K-means clustering
Estrazione di due variabili:
Utilità percepita
o Feedback ricevuto dallo staff
o Feedback ricevuto da altri Kublaiani
o Uso di materiale del progetto
o Partecipazione ad eventi
o Partecipazione al forum web
Beneficio percepito
o Sviluppo dell’attitudine alla condivisione e
alla collaborazione
o Miglioramento dell’idea progettuale
o Miglioramento di skills professionali
o Apertura di collaborazioni con altri Kublaiani
o Visibilità e capacità di ottenere finanziamenti
o Acquisizione di collaborazioni con
un’amministrazione pubblica
Factor analysis
Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance
Correlazione tra variabili Pearson's chi-squared test
37
Risultati dell’analisi statistica (1)
• PRESENZA di correlazione significativa tra Beneficio/utilità
o Provenienza da regioni convergenti
o Difficoltà nella realizzazione del progetto
o Condivisione delle informazioni
• MANCANZA di correlazione significativa tra Beneficio/utilità
o Esperienza in redazione di progetti
o Esperienza in gestione di iniziative
o Aver già ottenuto finanziamenti prima di Kublai
o Esperienza professionale
o Livello educativo
o Tipo di occupazione
38
Risultati dell’analisi empirica (2)
• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:
o Utilità dell’uso del materiale di progetto
o Utilità del feedback ricevuto dallo staff
o Utilità del feedback ricevuto dagli altri Kublaiani
o Utilità di Kublai nell’acquisizione di skills professionali
• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria
• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non
realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo
• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri
Progetti su Kublai
39
In altre parole
• I Kublaiani del sud e quelli senza esperienza
manageriale giudicano Kublai piú utile
• I Kublaiani con esperienza manageriale hanno
maggiore probabilitá di realizzare il progetto, ma lo
avrebbero realizzato indipendentemente da Kublai
• Non ci sono altre differenze significative nel
beneficio fra Kublaiani skilled/unskilled
40
Conclusioni generali (1)
Kublai ha avuto un impatto positivo in termini di impulso alla creazione di
una comunità di progettisti e di stimolo alla progettazione. In particolare
l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti
da regioni svantaggiate e con poca competenza nel campo manageriale.
Rilevanza
• Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti
coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza
Efficienza
• Il progetto è indubbiamente molto efficiente dal punto di vista del costo per
commento, sebbene non vi siano elementi per valutare il rapporto tra risorse
impiegate ed iniziative create
41
Conclusioni generali (2)
Efficacia
•La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia
difficile determinare cosa il promotore intenda specificamente per progetto
•Tutte le attività principali del progetto vengono percepite come utili, in particolare
il feedback dello staff, mentre i benefici percepiti paiono limitati
• Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione
•I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una
buona parte (30%) sarebbe addirittura disposta a pagare per il servizio
Addizionalità
•Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o
l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la
maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghi
Sostenibilità
•L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012
•La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma
solo una modesta parte si traduce in attività economiche
42
Idee per lo studio di fattibilitá (1) (TBC)
43
Idee per lo studio di fattibilitá (2) (TBC)
44
Prossimi steps
What When
Webinar sullo studio di fattibilità 4 Luglio
Conclusione analisi dei dati della piattaforma 6 Luglio
Conclusione dei casi studio
13 Luglio
Invio report finale sulla valutazione sulla base
dei commenti ricevuti
20 Luglio
Conclusione dello studio di fattibilità 31 Luglio
45
Grazie per l’attenzione!
46
www.open-evidence.com
David Osimo
Francesco Mureddu
C/Roc Boronat 117 8th Floor
08018 Barcelona Spain
Phone: +34 934 505252
dosimo@open-evidence.com
fmureddu@open-evidence.com
47
Allegato – analisi empirica
48
Anova output – esempio caso significativo
Sum of Squares df
Mean
Square
F Sig.
Perceived Impact
Between Groups 4,846 1 4,846 5,046 ,028
Within Groups 72,032 75 ,960
Total 76,878 76
Perceived utility
Between Groups 4,427 1 4,427 4,628 ,035
Within Groups 75,573 79 ,957
Total 80,000 80
49
Anova output – Statistica descrittiva
N Mean
Std.
Deviation
Std. Error
95% Confidence
Interval for Mean
Minimum Maximum
Between-
Compone
nt
Variance
Lower
Bound
Upper
Bound
FAC1_1
Perceived
Impact
Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135
Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376
Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376
Model
Fixed
Effects
,98001335 ,11168289 -,2135680 ,2313994
Random
Effects
,25172823 -3,1895948 3,2074262 ,10136068
FAC1_2
Perceived
utility
Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963
Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963
Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963
Model
Fixed
Effects
,97806867 ,10867430 -,2163108 ,2163108
Random
Effects
,23606644 -2,9995085 2,9995085 ,08676337
50
Means plotsBeneficiopercepito
Regioni competitive Regioni convergenti
51
Means plotsUtilitàpercepita
Regioni competitive Regioni convergenti
52
Means plotsBeneficiopercepito
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
53
Means plotsUtilitàpercepita
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato
un’iniziativa diversa/più debole
Si, ma avrei impiegato più
tempo
No
54
Means plotsBeneficiopercepito
In che misura ha condiviso informazioni sul progetto?
Per nulla Poco Abbastanza Molto Moltissimo
55
Means plotsUtilitàpercepita
In che misura ha condiviso informazioni sul progetto?
Per nulla Poco Abbastanza Molto Moltissimo
56
Means plotsUtilitàpercepita
No Si
Esperienza manageriale
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
57
Anova output – esempio caso non significativo
Sum of Squares df
Mean
Square
F Sig.
FAC1_1 Perceived Impact
Between
Groups
1,480 1 1,480 1,457 ,231
Within Groups 75,181 74 1,016
Total 76,661 75
FAC1_2 Perceived utility
Between
Groups
3,979 1 3,979 4,100 ,046
Within Groups 75,707 78 ,971
Total 79,687 79
58
Means plots
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti
Beneficiopercepito
59
Means plotsUtilitàpercepita
Capacità manageriali
Variabile composta da esperienza in progettazione, esperienza in gestione
di initiative ed ottenimento previo di finanziamenti
60
Means plots
Il rispondente ha già ottenuto dei finanziamenti prima
di partecipare a Kublai
Beneficiopercepito
No Si
61
Means plots
Il rispondente ha già ottenuto dei finanziamenti prima
di partecipare a Kublai
Utilitàpercepita
No Si
62
Means plots
Esperienza manageriale
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Beneficiopercepito
No Si
63
Means plots
Esperienza in progettazione
Il rispondente ha già scritto dei progetti prima di partecipare a Kublai
Beneficiopercepito
No Si
64
Means plotsUtilitàpercepita
No Si
Esperienza in progettazione
Il rispondente ha già scritto dei progetti prima di partecipare a Kublai
65
Pearson's chi-squared test – esempio caso significativo
Value df
Asymp. Sig. (2-
sided)
Pearson Chi-Square 13.034
a
4 ,011
Likelihood Ratio 13,673 4 ,008
Linear-by-Linear
Association
1,513 1 ,219
N of Valid Cases 80
a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.
66
00%
10%
20%
30%
40%
50%
60%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Utilità del materiale di progetto
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Analisi della correlazione (1)
67
Analisi della correlazione (2)
00%
10%
20%
30%
40%
50%
60%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Utilità del feedback ricevuto dallo staff
68
Analisi della correlazione (3)
Utilità del feedback ricevuto dagli altri Kublaiani
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
69
Analisi della correlazione (4)
Utilità di Kublai nell’acquisizione di skills professionali
00%
05%
10%
15%
20%
25%
30%
35%
40%
No Si
Esperienza manageriale
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
70
Analisi della correlazione (5)
Ha realizzato il progetto?
00%
10%
20%
30%
40%
50%
60%
70%
No Si
Esperienza manageriale
Si Si, in maniera diversa No
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
71
Analisi della correlazione (6)
Sarebbe riuscito a realizzare
il suo progetto senza Kublai?
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
No Si
Esperienza manageriale
Si
Si, ma avrei avviato
un’iniziativa diversa/più
debole
Si, ma avrei impiegato più
tempo
No
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
72
Analisi della correlazione (7)
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regioni competitive Regioni convergenti
Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai
73

Contenu connexe

Similaire à Kublai evaluation key findings

Progetto NiCE: Networking intelligent Cities for
Progetto NiCE: Networking intelligent Cities forProgetto NiCE: Networking intelligent Cities for
Progetto NiCE: Networking intelligent Cities foreAmbiente
 
Decide4YourSchool
Decide4YourSchoolDecide4YourSchool
Decide4YourSchoolBiPart
 
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020Laura Manconi
 
Italian Links-up Webinar Presentation: Social Software for Social Inclusion
Italian Links-up Webinar Presentation: Social Software for Social InclusionItalian Links-up Webinar Presentation: Social Software for Social Inclusion
Italian Links-up Webinar Presentation: Social Software for Social InclusionLinks-up
 
170321 presentazione breve (slariccia project based participation)
170321 presentazione breve (slariccia project based participation)170321 presentazione breve (slariccia project based participation)
170321 presentazione breve (slariccia project based participation)Stefano Lariccia
 
URBACT III – Bando per Action Planning Networks
URBACT  III – Bando per Action Planning NetworksURBACT  III – Bando per Action Planning Networks
URBACT III – Bando per Action Planning NetworksAnci Cittalia
 
Template doc premio_pa-sostenibile-2018
Template doc premio_pa-sostenibile-2018Template doc premio_pa-sostenibile-2018
Template doc premio_pa-sostenibile-2018Alessandro Pensa
 
Angelo Gatto al Faberlab di Tradate presenta il programma Open Innovation de...
Angelo Gatto  al Faberlab di Tradate presenta il programma Open Innovation de...Angelo Gatto  al Faberlab di Tradate presenta il programma Open Innovation de...
Angelo Gatto al Faberlab di Tradate presenta il programma Open Innovation de...FaberLab
 
Agende digitali locali
Agende digitali localiAgende digitali locali
Agende digitali localiGianluigi Cogo
 
Open genova - La piattaforma collaborativa
Open genova - La piattaforma collaborativaOpen genova - La piattaforma collaborativa
Open genova - La piattaforma collaborativaEnrico Alletto
 
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale Io Partecipo
 
I progetti di e-democracy della Regione Emilia-Romagna
I progetti di e-democracy della Regione Emilia-RomagnaI progetti di e-democracy della Regione Emilia-Romagna
I progetti di e-democracy della Regione Emilia-RomagnaSabrina Franceschini
 
Open genova & partecip@ - 2014
Open genova & partecip@ - 2014Open genova & partecip@ - 2014
Open genova & partecip@ - 2014Enrico Alletto
 
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...Miriana Bucalossi
 
T4 T Descr Fbpb1
T4 T Descr Fbpb1T4 T Descr Fbpb1
T4 T Descr Fbpb1EnergyLab
 

Similaire à Kublai evaluation key findings (20)

Progetto NiCE: Networking intelligent Cities for
Progetto NiCE: Networking intelligent Cities forProgetto NiCE: Networking intelligent Cities for
Progetto NiCE: Networking intelligent Cities for
 
Decide4YourSchool
Decide4YourSchoolDecide4YourSchool
Decide4YourSchool
 
Progetti Cluster Top-down
Progetti Cluster Top-down Progetti Cluster Top-down
Progetti Cluster Top-down
 
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020
OpenFesr: percorso di consultazione online PO FESR Regione Siciliana 2014-2020
 
Italian Links-up Webinar Presentation: Social Software for Social Inclusion
Italian Links-up Webinar Presentation: Social Software for Social InclusionItalian Links-up Webinar Presentation: Social Software for Social Inclusion
Italian Links-up Webinar Presentation: Social Software for Social Inclusion
 
ParteciPA
ParteciPAParteciPA
ParteciPA
 
170321 presentazione breve (slariccia project based participation)
170321 presentazione breve (slariccia project based participation)170321 presentazione breve (slariccia project based participation)
170321 presentazione breve (slariccia project based participation)
 
URBACT III – Bando per Action Planning Networks
URBACT  III – Bando per Action Planning NetworksURBACT  III – Bando per Action Planning Networks
URBACT III – Bando per Action Planning Networks
 
Template doc premio_pa-sostenibile-2018
Template doc premio_pa-sostenibile-2018Template doc premio_pa-sostenibile-2018
Template doc premio_pa-sostenibile-2018
 
Angelo Gatto al Faberlab di Tradate presenta il programma Open Innovation de...
Angelo Gatto  al Faberlab di Tradate presenta il programma Open Innovation de...Angelo Gatto  al Faberlab di Tradate presenta il programma Open Innovation de...
Angelo Gatto al Faberlab di Tradate presenta il programma Open Innovation de...
 
Agende digitali locali
Agende digitali localiAgende digitali locali
Agende digitali locali
 
Open genova - La piattaforma collaborativa
Open genova - La piattaforma collaborativaOpen genova - La piattaforma collaborativa
Open genova - La piattaforma collaborativa
 
La buona adozione
La buona adozioneLa buona adozione
La buona adozione
 
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale
Io Partecipo: un percorso di partecipazione sulla sostenibilità ambientale
 
I progetti di e-democracy della Regione Emilia-Romagna
I progetti di e-democracy della Regione Emilia-RomagnaI progetti di e-democracy della Regione Emilia-Romagna
I progetti di e-democracy della Regione Emilia-Romagna
 
Open genova & partecip@ - 2014
Open genova & partecip@ - 2014Open genova & partecip@ - 2014
Open genova & partecip@ - 2014
 
Scrivere un progetto europeo
Scrivere un progetto europeo Scrivere un progetto europeo
Scrivere un progetto europeo
 
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...
La ricerca del lavoro e la competenza digitale: il progetto europeo PROGRESS ...
 
T4 T Descr Fbpb1
T4 T Descr Fbpb1T4 T Descr Fbpb1
T4 T Descr Fbpb1
 
Il progetto INTENT
Il progetto INTENTIl progetto INTENT
Il progetto INTENT
 

Plus de osimod

Towards Policymaking 2.0
Towards Policymaking 2.0Towards Policymaking 2.0
Towards Policymaking 2.0osimod
 
Osimo openaire seminar
Osimo openaire seminarOsimo openaire seminar
Osimo openaire seminarosimod
 
Methodological note of the Open Science Monitor second version for publication
Methodological note of the Open Science Monitor second version for publicationMethodological note of the Open Science Monitor second version for publication
Methodological note of the Open Science Monitor second version for publicationosimod
 
Osm presentation workshop 19 sept 2018
Osm presentation workshop 19 sept 2018Osm presentation workshop 19 sept 2018
Osm presentation workshop 19 sept 2018osimod
 
Ko presentation v2
Ko presentation v2Ko presentation v2
Ko presentation v2osimod
 
Ko presentation
Ko presentationKo presentation
Ko presentationosimod
 
Osimo codagnone
Osimo codagnoneOsimo codagnone
Osimo codagnoneosimod
 
Gipo engagement strategy
Gipo engagement strategyGipo engagement strategy
Gipo engagement strategyosimod
 
Citizens
CitizensCitizens
Citizensosimod
 
Presentation at board DKV Seguros
Presentation at board DKV SegurosPresentation at board DKV Seguros
Presentation at board DKV Segurososimod
 
I city2014
I city2014I city2014
I city2014osimod
 
Ipp2014
Ipp2014Ipp2014
Ipp2014osimod
 
Presentation at okioconf14
Presentation at okioconf14Presentation at okioconf14
Presentation at okioconf14osimod
 
Presentation of science 2.0 at European Astronomical Society
Presentation of science 2.0 at European Astronomical SocietyPresentation of science 2.0 at European Astronomical Society
Presentation of science 2.0 at European Astronomical Societyosimod
 
Science20brussels osimo april2013
Science20brussels osimo april2013Science20brussels osimo april2013
Science20brussels osimo april2013osimod
 
UNDP - Open Evidence infographic: How to build an open gov project
UNDP - Open Evidence infographic: How to build an open gov projectUNDP - Open Evidence infographic: How to build an open gov project
UNDP - Open Evidence infographic: How to build an open gov projectosimod
 
0205 f01 international research roadmap
0205 f01 international research roadmap0205 f01 international research roadmap
0205 f01 international research roadmaposimod
 
Osimo policy 20odessa
Osimo policy 20odessaOsimo policy 20odessa
Osimo policy 20odessaosimod
 
Osimo crossover-roadmap
Osimo crossover-roadmapOsimo crossover-roadmap
Osimo crossover-roadmaposimod
 
Making eu innovation policies fit for the web def
Making eu innovation policies fit for the web defMaking eu innovation policies fit for the web def
Making eu innovation policies fit for the web defosimod
 

Plus de osimod (20)

Towards Policymaking 2.0
Towards Policymaking 2.0Towards Policymaking 2.0
Towards Policymaking 2.0
 
Osimo openaire seminar
Osimo openaire seminarOsimo openaire seminar
Osimo openaire seminar
 
Methodological note of the Open Science Monitor second version for publication
Methodological note of the Open Science Monitor second version for publicationMethodological note of the Open Science Monitor second version for publication
Methodological note of the Open Science Monitor second version for publication
 
Osm presentation workshop 19 sept 2018
Osm presentation workshop 19 sept 2018Osm presentation workshop 19 sept 2018
Osm presentation workshop 19 sept 2018
 
Ko presentation v2
Ko presentation v2Ko presentation v2
Ko presentation v2
 
Ko presentation
Ko presentationKo presentation
Ko presentation
 
Osimo codagnone
Osimo codagnoneOsimo codagnone
Osimo codagnone
 
Gipo engagement strategy
Gipo engagement strategyGipo engagement strategy
Gipo engagement strategy
 
Citizens
CitizensCitizens
Citizens
 
Presentation at board DKV Seguros
Presentation at board DKV SegurosPresentation at board DKV Seguros
Presentation at board DKV Seguros
 
I city2014
I city2014I city2014
I city2014
 
Ipp2014
Ipp2014Ipp2014
Ipp2014
 
Presentation at okioconf14
Presentation at okioconf14Presentation at okioconf14
Presentation at okioconf14
 
Presentation of science 2.0 at European Astronomical Society
Presentation of science 2.0 at European Astronomical SocietyPresentation of science 2.0 at European Astronomical Society
Presentation of science 2.0 at European Astronomical Society
 
Science20brussels osimo april2013
Science20brussels osimo april2013Science20brussels osimo april2013
Science20brussels osimo april2013
 
UNDP - Open Evidence infographic: How to build an open gov project
UNDP - Open Evidence infographic: How to build an open gov projectUNDP - Open Evidence infographic: How to build an open gov project
UNDP - Open Evidence infographic: How to build an open gov project
 
0205 f01 international research roadmap
0205 f01 international research roadmap0205 f01 international research roadmap
0205 f01 international research roadmap
 
Osimo policy 20odessa
Osimo policy 20odessaOsimo policy 20odessa
Osimo policy 20odessa
 
Osimo crossover-roadmap
Osimo crossover-roadmapOsimo crossover-roadmap
Osimo crossover-roadmap
 
Making eu innovation policies fit for the web def
Making eu innovation policies fit for the web defMaking eu innovation policies fit for the web def
Making eu innovation policies fit for the web def
 

Kublai evaluation key findings

  • 2. Housekeeping • 11.30-13.00 • Presentation of evaluation results (David Osimo) • Discussion • Presentation of ideas for the future of Kublai • Discussion • Wrap up • Remember: you can pose questions during the presentation and the discussion using the chat window 2
  • 3. What is Kublai? • Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the local level. • Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing collaboration amongst people who share the common interest based on the assumption that innovation is always a collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and every participant to Kublai’s social platform can choose the most appropriate way to interact with others. • The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms, and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects at the end of the process, to the sources of competitive funding most appropriate for them – both private and public. • Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of consultancy and/or training services needed for project take-off. • The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film Voices, Kinovan, Fund For Culture, AerialClick. 3Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/
  • 4. Participants’ target 4 Usual suspects Deserving winners Low skills Missed opportunities Not creative Creative Don’t receive public funding Receive public funding
  • 5. Key indicators Budget 2008-2014 (7 yrs) € 1.441.514,00 Comments 15.959 Users 3.861 Projects discussed 576 Cost per comment € 90,33 Cost per user € 373,35 Cost per project € 2.502,63 90 550 Kublai EU ePar cipa on project Cost per comment (EUR) 5
  • 7. Participant’s profile • >35 yrs (58%) • >University degree (73%) • Equally from north or southern Italy, men or women • 67% employed, of which 73% with at least 3yrs experience, mostly as independent 7
  • 8. Before joining Kublai… 58% 47% 26% 37% 0% 20% 40% 60% 80% 100% I had dra ed a project I had managed an ini a ve (profit or nonprofit) I had received public funding I had used other services to support project prepara on 8
  • 9. If you used other services, how is Kublai with respect to them?… 9 7% 18% 18% 4% 21% 32% Much lessuseful Lessuseful Asuseful More useful Much more useful Useful but in a different way
  • 10. How useful was Kublai (1 to 5) 10 1 1.5 2 2.5 3 3.5 4 4.5 5 Participation to the web forum Feedback from other members Participating at events Usage of material produced by the project Feedback from staff
  • 11. How did you benefit (1 to 5) 11 1 1.5 2 2.5 3 3.5 4 4.5 5 Acquiring collaborationswith government Visibility and capacity to attract funding Opening partnershipswith other membersof Kublai Acquiring professional skills Improving the project idea Acquiring a culture of sharing and collaborating
  • 12. Did you implement the project? 12 31% 23% 46% Yes, asplanned Yes, but differently No
  • 13. Would you have implemented it without Kublai? 13 53% 10% 21% 16% Yes Yes, but it would have been worse Yes, but it would have taken more time No
  • 14. If you implemented the project… 14 91% 55% 0% 10%20%30%40%50%60%70%80%90%100% Isthe project still active? Did you create a businessor an association out of it?
  • 15. Finally 15 87% 76% 0% 20% 40% 60% 80% 100% Would you recommend Kublai to others? Would you present other projects to Kublai 30% would accept to pay 5 EUR/month or more
  • 16. Discussion: what options for the future? • Platform funded by several funding agencies • Spin out as a company • Community service for open innovation , such as Innocentive • Crowdfunding • Outsourcing to another public agencies 16
  • 18. Obiettivi della valutazione (da D1) Obiettivo generale • Fornire un strumento utile ad una presa di decisione razionale ed evidence-based Obiettivi specifici • Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi • Studio di fattibilità sull’assetto futuro dell’iniziativa • Informazione e sensibilizzazione sul progetto interna alla amministrazione e nei confronti dell’opinione pubblica 18
  • 19. Obiettivi del progetto (da D1) Obiettivi principali • Migliorare l’Beneficio dei fondi strutturali • Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici • Fornire ai creativi competenze necessarie alla progettazione e alla redazione di bandi • Coinvolgere i creativi nei programmi di finanziamento pubblico attraverso un approccio informale e peer to peer Obiettivi accessori • Aumentare il numero di utenti supportati attraverso l’utilizzo di meccanismi peer to peer • Raggiungere nuove competenze utili al Ministero • Diffondere verso altri programmi approcci alla Kublai • Incoraggiare la condivisione di conoscenza e idee fra i partecipanti 19
  • 20. Benefici attesi per i partecipanti (da D1) Benefici dell’iniziativa • Generica acquisizione di competenze in materia di elaborazione dei progetti • Ottenimento di specifici consigli utili al miglioramento del progetto • Promozione e comunicazione del progetto verso possibili finanziatori • Capacità di networking ed accesso a possibili collaboratori del progetto • Conseguimento di concrete collaborazioni con altri Kublaiani 20
  • 21. Methodology What Status Casi studio In fase di completamento Survey Completata - 81 rispondenti su 575 portatori di progetto contattati in 4 istanze: Prima mail generale contenente la survey Seconda mail collettiva di richiamo Mail collettiva di richiamo da parte dello staff di Uval Messaggio personale sulla piattafoma a oltre 200 promotori iscritti negli anni 2011-2014 Analisi dei dati Della piattaforma Completata Studio di fattibilità In corso 21
  • 23. Rilevanza: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Si è coinvolto il target previsto (creative innovativi con scarse competenze progettuali da aree svantaggiate)? % di utenti nuovi ai finanziamenti pubblici survey portatori di progetto % da sud Italia; % laureati survey portatori di progetto valutazione originalità di progetti desk-based analisi dei progetti % di utenti che non avevano realizzato progetti autonomi fino ad oggi survey portatori di progetto distribuzione geografica utenti attivi/portatori di progetto survey portatori di progetto % di progetti con forte componente web Dati piattaforma Adeguatezza del peer to peer % di partecipanti che hanno proposto idee di progetto; Dati piattaforma % di utenti che valutano utile/molto utile I consigli di altri Kublaiani survey portatori di progetto 23
  • 24. Efficienza: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Si è ottenuta una adeguata partecipazione? n. utenti; % utenti attivi; trend nel tempo dati di progetto n. commenti dati di progetto n. commenti totali/n commenti staff dati piattaforma costo per commento; costo per utente dati piattaforma/dati di progetto si è riuscito ad aiutare un numero di utenti più' elevati dei servizi tradizionali? costo per utente supportato / anno dati di progetto 24
  • 25. Efficacia e addizionalità: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Valore dei consigli ricevuti % di utenti che rispondono utile o molto utile survey portatori di progetto Quanto ha fornito elementi unici rispetto ad altre piattaforme? % di utenti che rispondono si survey portatori di progetto Lo staff centrale ha fornito consigli utili? % di utenti che rispondono utile o molto utile survey portatori di progetto I kublaiani hanno fornito consigli utili? % di utenti che rispondono utile o molto utile survey portatori di progetto Servizi più utili di Kublai survey portatori di progetto Saresti disposto a pagare una fee (10 E mensuali) per usare Kublai / attribuisci un valore ai consigli ricevuti su Kublai - % di utenti che rispondono si survey portatori di progetto 25
  • 26. Domanda Indicatore Fonte Efficacia dell’autoselezione % di progetti di successo fra I 50 più discussi analisi desk e dati piattaforma corrispondenza fra progetti più discussi e progetti vincitori dati piattaforma; risultati awards Acquisizione di competenze Scelta multipla: % di utenti che rispondono si survey portatori di progetto Esempi di progetti migliorati sensibilmente Casi di studio I progetti sono diventati realtà? (incl. data) % di utenti che rispondono si ; % su categorie specifiche survey portatori di progetto % di utenti che hanno ricevuto finanziamenti ; % su categorie specifiche survey portatori di progetto se si, in che misura questo successo è attribuibile a Kublai % di utenti che rispondono rilevante o molto rilevante survey portatori di progetto Beneficio su cittadini numero totale utenti dei servizi realizzati Survey portatori di progetto nuove collaborazioni reclutate tramite Kublai numero intervista a committente Efficacia e addizionalità: domande, indicatori e fonti di valutazione 26
  • 27. Efficacia – Utilità percepita delle varie attività 1 1.5 2 2.5 3 3.5 4 4.5 5 La partecipazione al forum web Il feedback ricevuto da altri Kublaiani La partecipazione ad eventi Uso di materiale prodotto dal progetto Il feedback ricevuto dallo staff 27
  • 28. Efficacia – Benefici percepiti dalle varie attività 1 1.5 2 2.5 3 3.5 4 4.5 5 Acquisizione di nuove collaborazioni con un’amministrazione pubblica Visibilità e capacità di ottenere finanziamenti pubblici o privati Apertura di collaborazioni con altri Kublaiani Acquisizione di skills professionali Miglioramento dell’idea progettuale Sviluppo dell’attitudine alla condivisione e collaborazione 28
  • 29. Efficacia – Realizzazione del progetto 31% 23% 46% Si, esattamente come previsto Si, in maniera differente No 54% ha realizzato il progetto 29
  • 30. Efficacia – Rapporto fra feedback forniti e ricevuti 14% 4% 43% 20% 19% Dato molto di più Dato un po di più Paritario Ricevuto un po di più Ricevuto molto di più 39% ha saldo positivo contro il 18% con saldo negativo 30
  • 31. Efficacia – Misura in cui sono state condivise informazioni 5% 18% 27% 32% 18% Per nulla Poco Abbastanza Molto Moltissimo Il 50% ha condiviso molto, il 23% ha condiviso poco 31
  • 32. Efficacia – Soddisfazione generale di Kublai 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Si No Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai? Il 30% sarebbe disposto a pagare almeno 5 EUR/mese 32
  • 33. Addizionalità – Realizzazione del progetto senza Kublai 53% 10% 21% 16% Si Si, avrei avviato un'iniziativa diversa/più debole Si, ma ci avrei messo più tempo No 47% ha avuto un effetto addizionale da Kublai (Base: solo chi ha realizzato il progetto) 33
  • 34. Addizionalitá – Giudizio su Kublai rispetto ad altri servizi alla progettazione 7% 18% 18% 4% 21% 32% Molto meno utile Meno utile Di uguale utilità Poco più utile Molto più utile Utile, ma in maniera diversa 57% ha avuto valore aggiunto da Kublai rispetto ad altri servizi (Base: solo chi ha utilizzato altri servizi) 34
  • 35. Domanda Indicatore Fonte La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma I progetti supportati sono continuati? % di utenti che rispondono si survey portatori di progetto Hanno condotto alla creazione di imprese e posti di lavoro? % di utenti che rispondono si survey portatori di progetto Gli enti beneficiari sono interessati ai servizi di Kublai? numero di enti interviste a stakeholder L’approccio Kublai è stato adottato da altri enti pubblici? numero casi citati intervista a committente / stakeholder Sostenibilità: domande, indicatori e fonti di valutazione 35
  • 36. Sostenibilità – Progetti e creazione di attivitá economiche 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Si No Il progetto è ancora attivo? Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto? 36
  • 37. Analisi statistica Analisi Metodologia Creazione di gruppi basati sulle variabili di profilo K-means clustering Estrazione di due variabili: Utilità percepita o Feedback ricevuto dallo staff o Feedback ricevuto da altri Kublaiani o Uso di materiale del progetto o Partecipazione ad eventi o Partecipazione al forum web Beneficio percepito o Sviluppo dell’attitudine alla condivisione e alla collaborazione o Miglioramento dell’idea progettuale o Miglioramento di skills professionali o Apertura di collaborazioni con altri Kublaiani o Visibilità e capacità di ottenere finanziamenti o Acquisizione di collaborazioni con un’amministrazione pubblica Factor analysis Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance Correlazione tra variabili Pearson's chi-squared test 37
  • 38. Risultati dell’analisi statistica (1) • PRESENZA di correlazione significativa tra Beneficio/utilità o Provenienza da regioni convergenti o Difficoltà nella realizzazione del progetto o Condivisione delle informazioni • MANCANZA di correlazione significativa tra Beneficio/utilità o Esperienza in redazione di progetti o Esperienza in gestione di iniziative o Aver già ottenuto finanziamenti prima di Kublai o Esperienza professionale o Livello educativo o Tipo di occupazione 38
  • 39. Risultati dell’analisi empirica (2) • Gli utenti con minore esperienza manageriale hanno una percezione maggiore di: o Utilità dell’uso del materiale di progetto o Utilità del feedback ricevuto dallo staff o Utilità del feedback ricevuto dagli altri Kublaiani o Utilità di Kublai nell’acquisizione di skills professionali • Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria • Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo • Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri Progetti su Kublai 39
  • 40. In altre parole • I Kublaiani del sud e quelli senza esperienza manageriale giudicano Kublai piú utile • I Kublaiani con esperienza manageriale hanno maggiore probabilitá di realizzare il progetto, ma lo avrebbero realizzato indipendentemente da Kublai • Non ci sono altre differenze significative nel beneficio fra Kublaiani skilled/unskilled 40
  • 41. Conclusioni generali (1) Kublai ha avuto un impatto positivo in termini di impulso alla creazione di una comunità di progettisti e di stimolo alla progettazione. In particolare l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti da regioni svantaggiate e con poca competenza nel campo manageriale. Rilevanza • Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza Efficienza • Il progetto è indubbiamente molto efficiente dal punto di vista del costo per commento, sebbene non vi siano elementi per valutare il rapporto tra risorse impiegate ed iniziative create 41
  • 42. Conclusioni generali (2) Efficacia •La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia difficile determinare cosa il promotore intenda specificamente per progetto •Tutte le attività principali del progetto vengono percepite come utili, in particolare il feedback dello staff, mentre i benefici percepiti paiono limitati • Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione •I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una buona parte (30%) sarebbe addirittura disposta a pagare per il servizio Addizionalità •Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghi Sostenibilità •L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012 •La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma solo una modesta parte si traduce in attività economiche 42
  • 43. Idee per lo studio di fattibilitá (1) (TBC) 43
  • 44. Idee per lo studio di fattibilitá (2) (TBC) 44
  • 45. Prossimi steps What When Webinar sullo studio di fattibilità 4 Luglio Conclusione analisi dei dati della piattaforma 6 Luglio Conclusione dei casi studio 13 Luglio Invio report finale sulla valutazione sulla base dei commenti ricevuti 20 Luglio Conclusione dello studio di fattibilità 31 Luglio 45
  • 47. www.open-evidence.com David Osimo Francesco Mureddu C/Roc Boronat 117 8th Floor 08018 Barcelona Spain Phone: +34 934 505252 dosimo@open-evidence.com fmureddu@open-evidence.com 47
  • 48. Allegato – analisi empirica 48
  • 49. Anova output – esempio caso significativo Sum of Squares df Mean Square F Sig. Perceived Impact Between Groups 4,846 1 4,846 5,046 ,028 Within Groups 72,032 75 ,960 Total 76,878 76 Perceived utility Between Groups 4,427 1 4,427 4,628 ,035 Within Groups 75,573 79 ,957 Total 80,000 80 49
  • 50. Anova output – Statistica descrittiva N Mean Std. Deviation Std. Error 95% Confidence Interval for Mean Minimum Maximum Between- Compone nt Variance Lower Bound Upper Bound FAC1_1 Perceived Impact Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135 Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376 Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376 Model Fixed Effects ,98001335 ,11168289 -,2135680 ,2313994 Random Effects ,25172823 -3,1895948 3,2074262 ,10136068 FAC1_2 Perceived utility Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963 Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963 Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963 Model Fixed Effects ,97806867 ,10867430 -,2163108 ,2163108 Random Effects ,23606644 -2,9995085 2,9995085 ,08676337 50
  • 53. Means plotsBeneficiopercepito Sarebbe riuscito a realizzare il progetto anche senza Kublai? Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No 53
  • 54. Means plotsUtilitàpercepita Sarebbe riuscito a realizzare il progetto anche senza Kublai? Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No 54
  • 55. Means plotsBeneficiopercepito In che misura ha condiviso informazioni sul progetto? Per nulla Poco Abbastanza Molto Moltissimo 55
  • 56. Means plotsUtilitàpercepita In che misura ha condiviso informazioni sul progetto? Per nulla Poco Abbastanza Molto Moltissimo 56
  • 57. Means plotsUtilitàpercepita No Si Esperienza manageriale Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 57
  • 58. Anova output – esempio caso non significativo Sum of Squares df Mean Square F Sig. FAC1_1 Perceived Impact Between Groups 1,480 1 1,480 1,457 ,231 Within Groups 75,181 74 1,016 Total 76,661 75 FAC1_2 Perceived utility Between Groups 3,979 1 3,979 4,100 ,046 Within Groups 75,707 78 ,971 Total 79,687 79 58
  • 59. Means plots Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in gestione di initiative ed ottenimento previo di finanziamenti Beneficiopercepito 59
  • 60. Means plotsUtilitàpercepita Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in gestione di initiative ed ottenimento previo di finanziamenti 60
  • 61. Means plots Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai Beneficiopercepito No Si 61
  • 62. Means plots Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai Utilitàpercepita No Si 62
  • 63. Means plots Esperienza manageriale Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Beneficiopercepito No Si 63
  • 64. Means plots Esperienza in progettazione Il rispondente ha già scritto dei progetti prima di partecipare a Kublai Beneficiopercepito No Si 64
  • 65. Means plotsUtilitàpercepita No Si Esperienza in progettazione Il rispondente ha già scritto dei progetti prima di partecipare a Kublai 65
  • 66. Pearson's chi-squared test – esempio caso significativo Value df Asymp. Sig. (2- sided) Pearson Chi-Square 13.034 a 4 ,011 Likelihood Ratio 13,673 4 ,008 Linear-by-Linear Association 1,513 1 ,219 N of Valid Cases 80 a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39. 66
  • 67. 00% 10% 20% 30% 40% 50% 60% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Utilità del materiale di progetto Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Analisi della correlazione (1) 67
  • 68. Analisi della correlazione (2) 00% 10% 20% 30% 40% 50% 60% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Utilità del feedback ricevuto dallo staff 68
  • 69. Analisi della correlazione (3) Utilità del feedback ricevuto dagli altri Kublaiani 00% 05% 10% 15% 20% 25% 30% 35% 40% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 69
  • 70. Analisi della correlazione (4) Utilità di Kublai nell’acquisizione di skills professionali 00% 05% 10% 15% 20% 25% 30% 35% 40% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 70
  • 71. Analisi della correlazione (5) Ha realizzato il progetto? 00% 10% 20% 30% 40% 50% 60% 70% No Si Esperienza manageriale Si Si, in maniera diversa No Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 71
  • 72. Analisi della correlazione (6) Sarebbe riuscito a realizzare il suo progetto senza Kublai? 00% 10% 20% 30% 40% 50% 60% 70% 80% 90% No Si Esperienza manageriale Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 72
  • 73. Analisi della correlazione (7) 00% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Regioni competitive Regioni convergenti Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai 73