Open Source för kostnadseffektiv systemutveckling - Sundsvall 42
2013.11.29 ake edlund-tillvaxverket
1. Molnet
och
BigData
-‐
nya
utmaningar,
nya
möjligheter
Åke
Edlund
KTH
CSC
HPCViz
Data-‐Intensive
Compu7ng
Group
KTH
CSC
PDC-‐HPC
Cloud
1
2. Min
bakgrund
BigData
Moln
Leder:
Övrigt:
Tidigare:
Startups
KTH
CSC
HPCViz
Data-‐Intensive
Compu7ng
(forskning)
KTH
CSC
PDC-‐HPC
Cloud
Group
(molnresurser,
projekt)
Medlem
EU
Cloud
Expert
Group
Rådgivare
Severalnines.com
(DBaaS)
Rådgivare
SICS
Startup
Accelerator
(medgrundare)
Chief
Architect
ICT
Global
Customer
Services
at
Sony
Ericsson
Mobile
CommunicaVons
SoluVon
Manager
at
Alzato
(real-‐Vme
DB,
Ericsson
Business
InnovaVon
venture)
Product
Manager
for
Cult3D
(soXware
for
interacVve
3D
on
the
Internet)
at
Cycore
Consultant
with
Parallel,
Stockholm
(computer
security)
Co-‐founder
of
Numeri
Ltd
(scalable
video
compression)
Board
Member
of
EuroCloud
Sweden
Coach
Aalto
Venture
Garage,
now
Startup
Sauna
PhD,
Technion
–
Israel
Ins2tute
of
Technology.
Tekn.
Lic.
–
Uppsala
University.
Civ
Ing.
Teknisk
Fysik
–
Uppsala
University
Forskat
på
Berkeley
och
Rice
Univ.
(USA)
2
3. Vad
är
”Molnet”?
E
ekosystem
av
leverantörer,
utvecklare
och
användare
av
mjukvara
–
alla
steg
som
tjänster,
levererat
över
Internet.
3
4. Molnet
vikVgt?
Ja!
“The
cloud
is
going
to
transform
the
way
we
manage
our
lives
and
data.”
Ulf
Ewaldsson,
Ericsson
CTO
"Cloud
is
coming
as
the
most
significant
impact,
I
would
say,
to
communicaVon
since
we
introduced
mobile
telephony
in
the
first
place.”
“It
has
such
an
important
impact
that
you
have
to
have
cloud
as
one
part
of
your
strategy
if
you
are
in
the
ICT
world"
4
hp://www.vinnova.se/sv/Aktuellt-‐-‐publicerat/Webb-‐tv-‐arkiv/Videoklipp-‐fran-‐konferensen/Webb-‐tv-‐fran-‐VINNOVAs-‐
arskonferens-‐den-‐25-‐oktober-‐2012/Ulf-‐Ewaldsson-‐pa-‐VINNOVAs-‐Arskonferens/
5. Två
studenter,
en
enkel
idé
Grundades
i
juni
2007
Första
produkten
släpptes
i
sept.
2008
200M
registrerade
användare
(sep
2013)
100M
registrerade
användare
(nov
2012)
Betalande
kunder
i
200
länder
1
miljard
filer
sparas
på
Dropbox
varje
dygn
Används
av
2
milj
företag
Används
inom
95%
av
Fortune
500
Allt
genom
Molnet…..
5
6. Infrastruktur
som
en
tjänst
(IaaS)
-‐
Skalbarhet
genom
andras
datacenter
Exempel
på
Molncenter
MicrosoXs
data
center
i
San
Antonio,
Texas
Cirka
44,000
kvadratmeter
Når
alla
som
har
Internet
6
7. Infrastruktur
som
en
tjänst
(IaaS)
-‐
Skalbarhet
genom
andras
datacenter
Utan
elasVcitet
-‐ Förlorar
kunder
-‐ Låser
onödigt
mycket
kapital
Med
elasVcitet
7
8. Vad
betyder
Molnet
för
företagaren?
Enklare
–
behöver
inte
hantera
egen
hårdvara…
Snabbare
–
uppstart
inom
minuter
….
Når
alla
som
har
Internet
+
Billigare
–
betalar
bara
för
det
du
använder
Möjligt
(för
fler)
Lägre
risk
(för
alla)
Når
alla
som
har
Internet
8
9. Vad
betyder
Molnet
för
företagaren?
”Vi
hade
vunnit
6
månader
vid
uppstarten
om
vi
hade
haX
dagens
molntjänster
när
vi
startade
Skype…
”
Niklas
Zennström,
februari
2012
på
SU
9
10. Molnets
ekosystem
(förenklad
bild)
3
3
Slutanvändaren
1
Utvecklaren
Plaworm
Leverantören
1
3
2
2
3
Slutanvändaren
3
Tjänsterna
som
kund
konsumerar
via
nätverket
(som
en
tjänst,
SaaS)
Plawormar
2
Utvecklingsplawormar
(som
en
tjänst,
PaaS)
–
här
finns
utvecklingsmiljöer
för
t
ex
mobila
appar
Infrastruktur
1
Infrastruktur
(som
en
tjänst,
IaaS)
–
här
körs
större
delen
av
jobbet,
här
lagras
data
Nästa
sida
10
11. Utvecklingsplaworm
som
en
tjänst,
PaaS
Utvecklare
kan
i
stället
för
a
utveckla
direkt
på
molnleverantörens
infrastruktur
(
”
”
)
välja
a
använda
färdiga
utvecklingsmiljöer.
3
Slutanvändaren
1
Utvecklaren
Plaworm
Leverantören
2
Exempel:
Google
App
Engine,
MicrosoX
Azure,
Apple
iOS,
Android
OS
Mer:
SpoVfy,
Dropbox
(nästa),
…
11
12. Plawormar
för
Öppen
innovaVon,
exempel
Dropbox
• Dropbox
öppnar
upp
mot
sin
tjänst
-‐
och
ökar
därmed
värdet
på
sin
egen
tjänst)
• Plaworm
(som
en
tjänst,
PaaS)
för
andra
tjänsteutvecklare
-‐
som
därigenom
slipper
synkningsproblemaVken
• Konkurrerar
i
dea
exempel
med
Apple
(iCloud)
• Idag:
100,000
akVva
appar
som
byggts
på
Dropbox
plaxorm
12
13. E
större
moln-‐exempel
-‐
Nexlix
Idag:
37
miljoner
streaming-‐abonnenter
“Globally
Distributed
Cloud
ApplicaVons
at
Nexlix”
October,
2012,
Adrian
CockcroX
13
14. Molnet
och
den
mobila
klienten
>
6
Miljarder
mobila
abonnemang
>
2,3
Miljarder
Internetanvändare
>
35
Miljarder
Appar
nedladdade
(=
0
innan
juli
2008)
Ulf
Ewaldsson,
Ericsson
CTO
14
hp://www.vinnova.se/sv/Aktuellt-‐-‐publicerat/Webb-‐tv-‐arkiv/Videoklipp-‐fran-‐konferensen/Webb-‐tv-‐fran-‐VINNOVAs-‐
arskonferens-‐den-‐25-‐oktober-‐2012/Ulf-‐Ewaldsson-‐pa-‐VINNOVAs-‐Arskonferens/
15. Molnet
och
den
mobila
klienten
-‐
50
miljoner
användare
(på
35
dagar)
15
16. BigData
–
massiva
datamängder
med
stora
underliggande
värden
16
17. Molnet
OCH
BigData
37
miljoner
streaming-‐abonnenter
Levererar
tjänster
genom
Molnet
Analyserar
kunddata
och
förbärar
tekniken
genom
Molnet
17
19. SvD,
8
oktober
2013:
•
aG
hjälpa
användarna
aG
hiGa
musik
som
de
vill
lyssna
på.
Med
nya
funkVoner
som
Browse
Den
senaste
Vden
har
mycket
av
arbetet
fokuserat
på
och
Discover
har
man
dels
byggt
e
mer
grafiskt
Vlltalande
och
mer
lä{llgängligt
sä
a
visa
upp
låtkatalogen
och
genom
a
koppla
på
både
e
socialt
filter,
där
rekommendaVoner
baseras
på
personer
som
du
följer
och
vad
de
lyssnar
på
och
delar
med
sig
av
samt
algoritmer
som
analyserar
musiklyssnandet.
• Det
här
är
e
problem
som
de
flesta
streamingtjänster
broas
med.
Nexlix
har
Vll
exempel
precis
lanserat
listor
som
e
medel
i
si
arbete
för
a
det
allVd
ska
finnas
något
som
man
vill
se
omedelbart
Vllgängligt
så
snart
man
startar
tjänsten
och
Wimp
har
satsat
på
en
tydlig
redakVonell
profil
med
rekommendaVoner
och
arVklar
med
Vllhörande
spellistor
på
olika
för
aG
skilja
ut
sig
från
konkurrensen
teman
.
SpoVfy
är
inget
undantag,
a
hjälpa
användarna
a
hia
musik
de
gillar
a
lyssna
på
är
e
vikVgt
och
svårt
problem
a
lösa.
19
20. Varför
allt
tal
om
‘BigData’,
nu?
Företag
har
sedan
decennier
analyserat
stora
datamängder
–
men
det
har
varit
kostsamt
och
få
förunnat….
Nu:
• Datalagring
allt
billigare
• Nya
lösningar
gör
a
allt
fler
kan
få
ut
allt
mer
kunskap/värde
ur
si
data
•
•
Moln,
nya
data-‐analys
‘stackar’,
nya
(skalbara)
metoder
Fler
och
mer
komplexa
datakällor
a
analysera
och
få
ut
mer
kunskap
ur
20
21. Källor
Vll
Big
Data
• Experiment
för
studie
av
extrema
fenomen
i
vetenskapliga
områden
med
mogna
teorier
– Astrofysik,
ParVkelfysik,
..
• Uxorskande
av
nya
områden
– Genomsekvensiering,
…
• Skapa
kunskap
ur
akVviteter
på
Internet
• Sensornätverk
22. Källor
Vll
Big
Data
• Experiment
för
studie
av
extrema
fenomen
i
vetenskapliga
områden
med
mogna
teorier
– Astrofysik,
ParVkelfysik,
..
• Uxorskande
av
nya
områden
– Genomsekvensiering,
…
• Skapa
kunskap
ur
akVviteter
på
Internet
• Sensornätverk
23. Exempel
på
BigData
–
från
R&D
Big
Data
Ecosystem
in
One
Sentence
Use
Clouds
running
Data
AnalyVcs
processing
Big
Data
to
solve
problems
in
X-‐InformaVcs
(
or
e-‐X)
X
=
Astronomy,
Biology,
Biomedicine,
Business,
Chemistry,
Crisis,
Energy,
Environment,
Finance,
Health,
Intelligence,
Lifestyle,
MarkeVng,
Medicine,
Pathology,
Policy,
Radar,
Security,
Sensor,
Social,
Sustainability,
Wealth
and
Wellness
with
more
fields
(physics)
defined
implicitly
Spans
Industry
and
Science
(research)
Geoffrey
Fox,
ndiana
University
Bloomington,
April
18,
2013
I
24. Källor
Vll
Big
Data
• Experiment
för
studie
av
extrema
fenomen
i
vetenskapliga
områden
med
mogna
teorier
– Astrofysik,
ParVkelfysik,
..
• Uxorskande
av
nya
områden
– Genomsekvensiering,
…
• Skapa
kunskap
ur
akVviteter
på
Internet
• Sensornätverk
25. “Today
is
the
dawn
of
personal
genomics”
David
Haussler,
USCS
Faster
than
Moore’s
Law
Slower?
hp://www.genome.gov/sequencingcosts/
25
26. Källor
Vll
Big
Data
• Experiment
för
studie
av
extrema
fenomen
i
vetenskapliga
områden
med
mogna
teorier
– Astrofysik,
ParVkelfysik,
..
• Uxorskande
av
nya
områden
– Genomsekvensiering,
…
• Skapa
kunskap
ur
akVviteter
på
Internet
• Sensornätverk
28. Källor
Vll
Big
Data
• Experiment
för
studie
av
extrema
fenomen
i
vetenskapliga
områden
med
mogna
teorier
– Astrofysik,
ParVkelfysik,
..
• Uxorskande
av
nya
områden
– Genomsekvensiering,
…
• Skapa
kunskap
ur
akVviteter
på
Internet
• Sensornätverk
35. "CompuVng
is
being
transformed,
new
companies
are
emerging.
Many
organizaVons
that
have
Big
Data
don’t
have
the
ability
to
process
Big
Data."
“Big
Data
is
any
data
that
is
expensive
to
manage
and
hard
to
extract
value
from.”
Michael
Franklin,
AMPLab,
Berkeley
Konkurrensgap
Från:
Best
Prac2ces
in
Big
Data
Storage
Conducted
by:
Tabor
CommunicaVons
Custom
Publishing
Group
35
36. "CompuVng
is
being
transformed,
new
companies
are
emerging.
Many
organizaVons
that
have
Big
Data
don’t
have
the
ability
to
process
Big
Data."
“Big
Data
is
any
data
that
is
expensive
to
manage
and
hard
to
extract
value
from.”
Michael
Franklin,
AMPLab,
Berkeley
Kör,
med
fri
sikt
Konkurrensgap
Kör,
utan
fri
sikt
Från:
Best
Prac2ces
in
Big
Data
Storage
Conducted
by:
Tabor
CommunicaVons
Custom
Publishing
Group
36
37. Andel
företag
som
anser
aG
(business
analys7cs)
ger
en
konkurrensfördel
(USA)
37%
2010
58%
67%
2011
11%
29%
AnalyVcal
Innovators
AnalyVcal
PracVVoners
AnalyVcal
Challenged
2012
60%
From
Value
to
Vision:
Reimagining
the
Possible
with
Data
Analy7cs
What
makes
companies
that
are
great
at
analyVcs
different
from
everyone
else
By
MIT
Sloan
Management
Review
and
SAS
Ins7tute
(2013)
37
38. Big
Data
Utmaningar
• Need
of
staVsVcal
principles
(that
scale)
to
jusVfy
the
inferenVal
leap
from
data
to
knowledge
• Always
possible
to
turn
data
into
something
resembling
knowledge
but
which
actually
is
not
– …
and
quite
difficult
to
know
that
this
have
happened
hp://drewconway.com/zia/2013/3/26/the-‐data-‐science-‐venn-‐diagram
39. McKinsey
InsVtute
on
Big
Data
Jobs
• There
will
be
a
shortage
of
talent
necessary
for
organizaVons
to
take
advantage
of
big
data.
By
2018,
the
United
States
alone
could
face
a
shortage
of
140,000
to
190,000
people
with
deep
analyVcal
skills
as
well
as
1.5
million
managers
and
analysts
with
the
know-‐how
to
use
the
analysis
of
big
data
to
make
effecVve
decisions.
• InformaVcs
aimed
at
1.5
million
jobs.
Computer
Science
covers
the
140,000
hp://www.mckinsey.com/mgi/publicaVons/big_data/index.asp.
to
190,000
39
40. Molnet
–
möjliggör
samverkan
E
ekosystem
av
leverantörer,
utvecklare
och
användare
av
mjukvara
–
alla
steg
som
tjänster,
levererat
över
Internet.
Samverkan
är
nyckelordet
här
–
en
kedja
av
samverkande
företag
40
41. KunskapslyX
-‐
Exemplet
Finland
“Seeking
Compe77veness
for
Finnish
Sobware
Industry”
70+MEUR
under
2010-‐2013,
industri-‐drivet
forskningsprogram
Arbetar
helt
agilt
Delar
på
resultaten
Samverkan
41
www.
CloudsoXware.fi,
www.
Tivit.fi,
Janne.jarvinen@f-‐secure.com
(program
director)
42. Paving
the
way
for
Finnish
soXware
business
to
succeed
in
the
cloud
Building
the
future
open
soXware
infrastructure
and
technologies
for
services
in
the
cloud
Bringing
the
operaVonal
efficiency
to
a
new
level
increasing
producVvity
and
profitability
significantly
42
43. 2012
Results
Major
Lean/Agile
transformaVon
programs
ongoing
e.g.
F-‐Secure,
Tieto,
Ericsson,
EB,
EXFO,
Nokia
Several
new
cloud
service
concepts
and
tools
developed
e.g.
o
Freenest
–
Plaxorm
for
agile
cloud
development
o
F-‐Secure
–
Content
cloud
plaxorm
and
service
o
Vaadin
–
CollaboraVve
SW
development
o
Owela
–
Conumers
say
on
cloud
services
New
ecosystems
being
formed
e.g.
CSC
Kajaani
Datacenter,
Ixonos
CityOnline,Tieto
ApplicaVon
Plaxorm,
F-‐Secure
3rd
party
ecosystem
43
44. 2012
Results
7.3
MEUR
Major
Lean/Agile
transformaVon
programs
iongoing
savings
n
H1/2012
e.g.
F-‐Secure,
Tieto,
Ericsson,
EB,
EXFO,
Nokia
Up
to
6x
Faster
delivery
Several
new
cloud
service
concepts
and
tools
developed
e.g.
o
Freenest
–
Plaxorm
for
agile
cloud
development
o
F-‐Secure
–
Content
cloud
plaxorm
and
service
IPSS:
Company
o
Vaadin
–
CollaboraVve
SW
development
revenue
tripled
o
Owela
–
Conumers
say
on
cloud
services
already!
New
ecosystems
being
formed
e.g.
CSC
Kajaani
Datacenter,
Ixonos
CityOnline,
Tieto
ApplicaVon
Plaxorm,
F-‐Secure
3rd
party
ecosystem
44
46. Global
Konkurrens
• Genom
Internet
blir
konkurrensen
global
• Någon
idé
a
skapa
en
naVonell
dropbox?
– Ja,
om
du
kan
lägga
Vll
ny
värde,
t
ex
integriet
49. An
accelera2ng
environment…
•
•
•
•
•
Adding
new
paradigms
to
old
ones
Internet
Internet-‐Cloud
Internet-‐Cloud-‐BigData
Internet-‐Cloud-‐BigData-‐IoT
Internet-‐Cloud-‐BigData-‐IoT-‐X
….
Global
compeVVon/collaboraVon
(next)
50. Slutexempel
–
E
svenskt
bolag
som
använder
molnet
för
a
leverera
analyser
av
stora
(publika)
datakällor
från
Internet
50
51. EG
svenskt
exempel
på
Big
Data
(som
använder
molnteknik
fullt
ut)
•
Focus
only
on
web
intelligence,
primarily
for
governments
and
Fortune
500
•
Backed
by
Google
Ventures,
Atlas
Venture,
Balderton,
IA
Ventures,
and
I-‐Q-‐T
Följade
är
baserat
på
“Building
a
Web
Intelligence
Machine”
av
Staffan
Truvé,
PhD
CTO,
Recorded
Future
truve@recordedfuture.com
51
54. Slutsummering
• InnovaVonstakten
accelererar.
Internet
ökar
global
konkurrens/
möjligheter.
• Företag
måste
lära
sig
använda
och
vidareutveckla
kring
dessa
ekosystem
• Kunskap
fås
genom
erfarenhet
– Många
bra
exempel
a
lära
från
t
ex
Cloud
SoXware
Finland
– Behov
av
kompetensutvecklande
projekt,
gemensamma
utvecklingsmiljöer
–
samverkan
mellan
företag
• Nyckel:
Samverkan
mellan
teknik,
affärsutveckling,
arbetsmetodik
–
OCH
olika
kompetensområden
Möjligheter
Vll
nya
kombinaVoner
av
samverkan
-‐
även
mellan
Vdigare
konkurrenter
54
55. Referenser
www.recordedfuture.com
Value-‐driven
business
in
the
cloud
www.v.fi/inf/pdf/researchhighlights/
2013/R9.pdf
Fron2ers
in
Massive
Data
Analysis
www.nap.edu/catalog.php?record_id=18374
XSEDE
Cloud
Survey
Report,
September
2013
hps://www.xsede.org/xsede-‐nsf-‐release-‐cloud-‐survey-‐report
55