Elastic presents how The Guardian uses log analysis when creating articles and content on their website. Findwise talks about Big Data and log analysis and the possibilities it gives.

1. © Findwise 2015-05-29
Hur förvandlar The Guardian loggfiler till pengar?
- Seminarie om logganalys med ELK
28 maj 2015

2. • Big data på riktigt – ingen hype, bara nytta. Vi reder ut begreppen och
förklarar hur logganalys fungerar. Christian Ubbesen, Findwise
• Exempel från verkligheten #1: Hur förvandlar The Guardian loggfiler till
pengar? Edward Wasilchin, Elastic Co.
• Exempel från verkligheten #2: Hur ett logistikföretag löser problemet med
försvunna försändelser. Olof Nilsson, Findwise
• Fem steg för framgång med erfarenheter direkt från skyttegraven – så här
lyckades vi med ett framgångsrikt projekt.
• Q&A
Agenda

3. Visualiserad loggdata ger ökad affärsnytta
Vad vill du veta? – Nästan allt som händer finns i loggfiler

4. Big Data
Exempel på tillämpningar:
Analysera…
 Användarbeteenden i webbtjänster, ge
bättre rekommendationer
 Sensordata i en fabrik eller
konsumentprodukter
 System och applikationer i en IT-
driftsmiljö
Väldig bredd på tillämpningar!

5. Loggfiler – volym, varians, hastighet

6. Inte bara loggfiler…

7. Big Data med Logganalys
Sökmotor
Aggregerar data
Skapar statistik

8.  Enkel välpaketerad teknik – behöver inte systemutveckling
 Snabb återkoppling på idéer – det går fort att ladda in en fil
och skapa grafer och dashboards
 Behöver inte IT-hjälp mer än att få access till loggfilerna. Låg
grad av ”invasivitet”.
Varför big data med logganalys?

9. ÖKA AFFÄRSNYTTAN
AV LOGGDATA

10. Användningsområden
Visualiserad loggdata i verksamheten för att
förstå kunden och nå verkliga effekter i
affären.
Systemövervakning, felsökning och
bedrägeriutredningar.
Felsöka och
undersöka
Proaktiv
monitorering och
alarm
Insikter i
verksamheten
Affärsinsikter i
realtid
Proaktiv
Reaktiv

11. Intressenter för visualiserad loggdata
Säljledare & säljare
Marknad &
internetavdelning
Kundcenter,
Backoffice &
Internetsupport
Affärsledning &
Affärsansvariga
Riskkontroll
Leveransteam
IT
Proaktiv och informerad
förvaltning
Aktiv säljledning Öka försäljning
Nöjdare kunder
Öka effektivitet
och säkerhet
Följa försäljning i närtid
Följa kundernas beteende
Visualisera aktivitet och
försäljning per kanal och produkt
Informerat kundmöte
Visa kundens senaste aktivitet
samt förutsättningar
Säkerhetsstöd Snabbare analyser
Följa hur de tekniska systemen
presterar
Att visualisera Förändring i organisationen Önskad effektIntressentgrupp

12. Loggdata innehåller affärskritisk information

13. Loggdata innehåller affärskritisk information
Kund ID Order ID Produkt ID
Order ID Kund ID
Väntetid
Kund ID
Twitter ID Kundens Twitter
Företagets Twitterkonto

14. Loggdata innehåller affärskritisk information
Kund ID Order ID Produkt ID
Order ID Kund ID
Väntetid
Kund ID
Twitter ID Kundens Twitter
Företagets Twitterkonto

15. Loggdata innehåller affärskritisk information

16. CASE: THE GUARDIAN – GAINING INSIGHT
THROUGH A WEALTH OF DATA

17. The Guardian – Gaining insight through a wealth of data
Unlocking the value of data through search and analytics
www.elastic.co
Edward Wasilchin
Director, Nordics
+46708105878
ed@elastic.co

18. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
18
The story is being told
• Starting out in 1821 as a UK-
based newspaper, today The
Guardian is a global provider of
news content.
• The company site,
theguardian.com, is one of the
world's most popular websites
with 5 million unique visitors
per day – the third largest
English-speaking newspaper
website in the world.

19. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
19
The challenge
• Transition the business model
from print to online
• From journalist driven to
reader driven content
• From static to dynamic
• From deadlines to speed of
decision and execution

20. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
20
Defining the solution

21. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
21
Architecting the solution – Enter Ophan
• Ophan, the Guardian's in-house developed
analytics system, enables users across the
company – including editors, journalists, the
search optimization team, and developers – to
see in real-time exactly how users are
interacting with the content.
• Powered by Elasticsearch and processing 40
million documents per day and delivering real-
time results, Ophan has grown to be an
enterprise-wide analytics tool used throughout
the organization, with over 500 active users.

22. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
22
The benefits
Enhanced user experience
The Guardian utilizes Elasticsearch-powered analytics
to provide readers with more content that meets their
demands, which enhances the user experience on the
company's website.
Improved site performance
The Guardian's IT operations team utilizes Elasticsearch
to track how any changes impact site performance,
diagnose issues and keep the site up and running at
peak performance.
Driving more page views
Elasticsearch helps The Guardian improve content,
headlines and promotion in a variety of ways, ultimately
increasing the number of page views and the site's
success.
Empowering the team
Offering access to Elasticsearch across the organization
has empowered editors and journalists to get more
involved, and take a proactive approach to improving
the site and its content.

23. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
The Problem
Insights are not keeping pace with data
Data
Social
Locatio
n
Web/Lo
gs
Machine
Documents
Today’s Requirements
Scale SpeedReal Time SchemalessFlexibility
Developers IT/Ops Business Users
23

24. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
24
Global Customer Base

25. www.elastic.co Copyright Elastic 2015 Copying, publishing and/or
distributing without written permission is strictly prohibited
25
Our Story
Mar’15Oct’12 Apr’13 Sept’14Oct’13
20.
MillionsofDownloads
2.5
5.0
10.
20+
Millionproduct downloads
Cumulative as of March 2015 across Elastic products
Customers
2,000+
Startups to global enterprises
Team
$104M funding
Open Source & Enterprise

26. Thank you!
www.elastic.co
@elastic

27. CASE: HUR ETT LOGISTIKFÖRETAG LÖSER PROBLEMET
MED FÖRSVUNNA FÖRSÄNDELSER.

28. Utmaningen
Hur vet jag hur mina system mår?
Många system ➜ många gränssnitt för monitorering
Databas
Admin-
verktyg
Ärende-
hantering
Webb-
gränssnitt
Brand-
vägg
Terminal
Produkt
Ingen
monitorering
Webb-
server
Webb-
gränssnitt
Wed Oct 1 17:55:33.368 <airportd[92]> _handleLinkEvent: Got an error trying to query WiFi for power. Resetting state variables.
localhost - - [29/Apr/2014:14:34:51 +0200] "POST / HTTP/1.1" 200 353 Set-Job-Attributes successful-ok
Oct 1 07:10:39 - WindowServer[103] <Warning>: device_generate_desktop_screenshot: authw 0x7fb9705eb7d0(2000), shield
0x7fb975116f80(2001)
[Thu Mar 20 17:43:10 CET 2014]installer saved state: /Users/theuser/Library/Saved Application
State/com.apple.installer.savedState/windows.plist
[3454682.044] noPseudoramiXExtension=0, pseudoramiXNumScreens=1

29. Förbättrad IT med logganalys
• IT-avdelning i logistikbranschen
• Outsourcad utveckling och drift
• Kvalitetsproblem och driftstörningar
Hur får jag en bild av hur systemen används?
Adress- och
mottagar-
register
Paket-
spårning
Sorterings-
system
Logganalys-
verktyg

30. Postal
Code
Service
EDI
Processor
EDI
Receiver
Sorting
Company
Registry
EDI
Received
Registered
Piece
received
Piece sorted
Piece
loaded
Följa status genom flera system
• Status på ett paket tas ut från flera loggkällor
• Koppling till fysiskt paket
Physical package

32. Vinster
• Översikt av hur olika system behandlar paketinformation
• Upptäckte brister i produktionssystemens loggning
• Förenklad felsökning och möjlighet att följa hur ett enskilt paket behandlas

33. SÅ LYCKAS MAN MED
ETT BIG DATA-PROJEKT

34. Findability by Findwise™
Business (needs & goals)
Information (quality & structure)
Users (needs & capabilities)
Organisation (change & governance)
Technology (platform & functionality)

35. Så genomförs ett projekt
Analys av
information
•Utförs med
informationsexpert
hos kunden
Ta fram rapport /
analysstöd
•Grafer
•Dashboard
Demo
•Få feedback
•Korrigera
Identifiera use-
case &
information
•Vilka affärsprocesser
ska stöttas
Etablera
övergripande
affärskrav – målbild
Kontinuerlig leverans
av rapporter /
analysstöd för olika
processer och
affärsbehov
IT
Hårdvara/infrastruktur
Installera verktyg
Licens
Etablera organisation
• Ägarskap
• Rutiner feedback/förändring
• Underhåll teknik + rapporter/analyser
Roll 1: Affärssponsor Roll 2: Informationsexpert
Förstår data-/loggfilerna och
sammanhanget det kan användas i
Roll 3: Affärsrepresentant
Gärna referensgrupp

36. Exempelprojekt
1. Workshop med affärssponsor, affärsintressenter och
informationsexpert (som vet vilken data som finns att
tillgå) – identifiera ett antal rapportbehov, välj ut den
viktigaste.
2. Genomför Proof-of-Concept på det viktigaste
rapportbehovet. Verifiera att data-/loggfilerna finns
tillgänglig och håller tillräckligt hög kvalitet, samt
verifiera att rapporten kan användas av
affärsverksamheten för att fatta värdefulla beslut. Tar
ca 3 veckor.
3. Med PoC-resultatet verifierat så kan leveransprojekt
etableras. Workshoppa fram prioriterad backlog av
rapportbehov, och rulla ut kontinuerligt i tät dialog
med affärssponsorer och slutanvändare. Ambitionen
avgör omfattning.
4. Etablera organisation för tekniskt underhåll och
affärsmässig förvaltning.
5. Överlämna ansvar till organisationen. Sammanställ
och presentera rapport på slutleverans.
Workshop
Proof-of-Concept
Leveransprojekt
Etablera organisation
Slutleverans

37. Viktiga framgångsfaktorer
 En tydlig sponsor: affärssponsor eller IT-
sponsor beroende på fokus.
 En informationsexpert som förstår vilka
data/loggfiler som finns och hur de ser ut.
 Representanter av slutanvändare.
 Jobba i korta agila iterationer, testa sig fram.

38. Varför visualiserad loggdata?
 Låg ”invasivitet” – kräver mycket liten insats från IT-
/utvecklarorganisationen.
 Snabbt att få fram demos – stödjer en agil filosofi där
affärsverksamheten är aktiva deltagare – ”Rapid Business
Intelligence”.
 Kostnadseffektivt – stor affärsnytta – minimalt med strul.

39. Första steget – diskutera…
Vad vet ni att ni inte vet idag?

40. fredrick.clase@findwise.com