Real-time discovery e sentiment analysis su Twitter: Blogmeter Now

Milano, 28-29 novembre 2014
Real-time discovery e sentiment
analysis su Twitter: BlogmeterNow
Vittorio Di Tomaso
@BlogMeter
vittorio.ditomaso@blogmeter.it
© Blogmeter 2014 I www.blogmeter.it

Chi siamo
Leader in Italia nella social media intelligence
500+
progetti realizzati
100+
clienti
3
sedi: Milano,
Roma e Torino
Tecnologie d’avanguardia per la social intelligence
4 miliardi
post e interazioni
social misurate l’anno
20 mila
topic di classificazione
configurati
7 mila
profili aziendali social
analizzati giornalmente
15 mila
entrate lessicali x
sentiment automatico
Blogmeter 2014 | www.blogmeter.it 2

Misura l’impatto delle
trasmissioni televisive
su Facebook e Twitter
ACADEMY
Formazione direzionale relativa
Gestisci il tuo social
customer care e crm
all’introduzione dei social in azienda,
best practice da seguire, fino alla
strutturazione di
un’attività di monitoraggio
3
Offerta
Blogmeter Social Toolbox per l’analisi e la gestione dei social media
Analizza la tua
reputazione
sui social media
Analizza le performance
dei profili aziendali su
Analisi dati e formazione
Facebook e Twitter.
ANALISI & REPORTING
Servizio di analisi e reportistica quali-quantitativa
sulla reputazione online
e/o di tracking dell’efficacia delle
campagne di marketing
INFOGRAFICHE
Una sintesi grafica delle attività social
relative a una trasmissione tv o
iniziativa di marketing

Agenda
COSA FACCIAMO PERCHE’ LO FACCIAMO COME LO FACCIAMO

Cosa facciamo

Cosa facciamo
Analizziamo in real time conversazioni e
interazioni sui media sociali
Ingestion
Content
Analysis
Sentiment
Analysis
Indexing Delivery

Data Acquisition
Circa 25k “item” al minuto (post e interazioni) da tutte le
fonti sociali, acquisiti 24x7 utilizzando scraper specifici,
API pubbliche e servizi commerciali
Ingestion
Content
Analysis
Sentiment
Analysis
Indexing Delivery

Data Analysis
Analisi semantica (Ontology Based Natural Language
Processing) per la classificazione dei documenti in
topic di interesse e per la sentiment analysis
[4k/minuto circa contengono testo]
Ingestion
Content
Analysis
Sentiment
Analysis
Indexing Delivery

Indicizzazione
Utilizzo congiunto di tecnologie relazionali
(PostreSQL) e non relazionali (Redis, Lucene) per lo
storage e l’indicizzazione dei documenti
Ingestion
Content
Analysis
Sentiment
Analysis
Indexing Delivery

Delivery
Applicazioni di analisi dei dati, di discovery e di alerting
Ingestion
Content
Analysis
Sentiment
Analysis
Indexing Delivery

Perché lo facciamo?

Cos’è il Real Time Marketing?
«Il Real Time Marketing è un approccio al mercato
che fa leva sulla capacità aziendale di rispondere
tempestivamente ad eventi e stimoli esterni, siano
essi prevedibili o meno»

Cos’è il Real Time Marketing?

Planned – Reactive (1/4): Geolocation

Planned – Reactive (2/4): Geolocation

Planned – Reactive (3/4): NFC/iBeacon
https://www.youtube.com/watch?v=3QFrZjvp2E0#t=28

Planned – Reactive (4/4): Predictive Analytics
Software per prevedere un bisogno del consumatore, sulla base dell’analisi di dati relativi
ai suoi comportamenti o a quelli di categorie similari di persone.

Planned - Proactive

Unplanned - Reactive

Come prepararsi al
Real Time Marketing

Il flusso: organizzazione e tool
Obiettivi e
KPI RTM
Preparare
contenuti
Definire i
ruoli
Tool
Definire i
processi
Tool
Tool
Prevedere il
peggio
Live
Testare il
Tool

BlogmeterNow abilita il monitoraggio costante e in tempo reale delle conversazioni online presenti su
Twitter al fine di scoprire nuovi contenuti rilevanti, utili sia ai fini di protezione aziendale che per attività
di real time marketing e communication.
Conversation
Trend with
sentiment
Conversation
KPIs
Most
Engaging
Tweets with
sentiment &
emotions
Most
Mentioned
Hashtag
Most
mentioned
Accounts
All tweets
Blogmeter Now

Come lo facciamo

Come lo facciamo (1)
1
Ingest
Normalization
Unique Indentifier
3
Index
Full Text Indexing
Semantic
Annotation
Indexing
Metadata
Extraction
2
Enrich
Semantic
Annotation
Sentiment
Analysis
Language Detection
User & Location
Ontology Based Natural
Language Processing
Components
Named Entities
Topics
Polarity
Emotions

Come lo facciamo (2)
User Services
Business Layer
Processing Layer
Data Storage
Scheduling
& Config
Security
Kestrel
• 300 core
• 1.2T RAM
• 29T Disk
Physical
Layer

Architettura semantica
Processing layer
Analysis pipeline
Primary
index
Risorse
linguistiche
Metadata
extractor
Dipendono dalla
• Item
full text
analyzer
• Item
• Metadata
Linguist
analyzer
Semantic
Analyzer
Primary
index
• Item
• Metadata
• Token
• Item
• Metadata
• Token
• El. linguistici
• Item
• Metadata
• Token
• El. Linguistici
• Sentiment
(opinioni)
• Classificazione
• Vocabolario Morfologico
• Gazetteer ( liste di nomi,
persone, sigle, etc…)
Configurazione del
dominio di conoscenza
(regole semantiche )
Regole di identificazione
e isolamento dei token
lingua
Dipendono dalla lingua e
dal dominio applicativo
Regole di estrazione
dei metadati
( dipendenti dalla struttura dei
dati in analisi)
Possibili
configurazioni
Full text search
Intelligent search
Semantic search Metriche
Staging
area

Cosa stiamo imparando

Cosa stiamo imparando
Da una architettura di ingestion, analisi e
delivery che aggiorna i dati nel corso delle 6/12
ore successive a una architettura di ingestion,
analisi e delivery real time

Impatti
La modifica architetturale non è stata indolore.
Analizzare linguaggio naturale è
computazionalmente complesso, farlo in real
time lo è ancora di più

Perché complesso
1. Analisi diverse su ontologie di classificazione
diverse
2. Non possiamo prevedere come un item dovrà
essere classificato e con quale set di componenti
linguistici (lessici, regole di sentiment, ontologie)
3. Lavoriamo su uno stream real time che non si
ferma ad aspettarci…

Obiettivi
1. Evitare di fare due volte lo stesso lavoro (gli
stream contengono molti item duplicati, non
possiamo analizzarli più volte)
2. Evitare di applicare processori
computazionalmente complessi quando non
sono richiesti

Soluzione: eliminare duplicati in maniera efficiente
Abbiamo dedicato particolare attenzione a
definire un approccio per limitare la quantità di
duplicati e per garantire una identificabilità
univoca di tutti i documenti

Soluzione: eliminare duplicati in maniera efficiente
Stream
(API)
Stream
(Provider)
Search
Dupicate
Detector -
Unique ID
Dupicate
Detector -
Unique ID
Analysis
Analysis
Storage

Soluzione: routing intelligente dei documenti
Semantic routing su un’architettura in cui il flusso
delle informazioni tra i processori può essere descritto
come un grafo aciclico direzionato

Data Processing Network (esempio)
Attivazione intelligente dei
processori: si adatta
all’informazione disponibile
azzerando il lavoro inutile
NLP
telco_it
NLP
auto_it
data stream lang lang reco
domain
classifier
author
gender
reco
loc reco
topic
reco
NE Reco
lang
NLP
mood IT
NLP
mood
EN
NLP
mood es
domain
NLP
fashion_en
persister

Vantaggi e risultati raggiunti
Il lavoro su documenti duplicati è ridotto a 0, con conseguente
risparmio di cicli di CPU e di spazio sullo storage
La pipeline di analisi semantica si autoconfigura attivando il
flusso giusto per classificare correttamente il documento a
seconda dell’obiettivo
Il troughput è molto elevato e ci consente di catturare i picchi
prevedibili (e anche molti non prevedibili)
La scabilità orizzontale è garantita da un meccanismo che
consente di deployare in maniera “semplice” nuovi nodi di
analisi

Case studies

Virus – Rai 2
VIRUS il contagio delle idee
Seconda edizione del talk show politico di RAI 2
condotto da Nicola Porro.
Blogmeter Now
Durante la trasmissione Blogmeter Now rileva in
tempo reale le conversazioni su Twitter relative
alla trasmissione. In particolare:
• i temi del dibattito
• gli ospiti
• i tweet più virali
• l‘uso degli hashtag lanciati a inizio trasmissione per
schierarsi con uno degli ospiti (es:
#haragionedemagistris #haragionesallusti)
Social Listening
Durante la settimana aiutiamo gli autori di VIRUS
a comprendere le opinioni della rete sui temi della
puntata:
• volume delle conversazioni
• sentiment sui politici
• viralità dei messaggi

Italia MTV Awards
Italian MTV Awards 2014
L’evento live più importante di MTV Italia con la
premiazione dei migliori artisti dell’anno
Blogmeter Now
Durante la trasmissione Blogmeter Now è
servito a:
• Real Time Polling per individuare l’artista
più votato dal pubblico su Twitter (due
categorie: Best Live Performance e Best
Dance Crew) con un effetto diretto sullo
show: dopo un minuto dalla votazione i
vincitori sono stati premiati sul palco
• Monitoraggio in real time dei tweet dedicati
all’evento per capire i momenti più caldi
• Raccolta di tutte informazioni necessarie a
creare un’infografica utile per la successiva
comunicazione esterna

TIM Stadium
TIM Stadium
E’ il portale di TIM per vivere le partite della
Serie A con il supporto di dati numerici.
Si tratta di dati che provengono sia dai
campi di gioco (tiri, gol, tattica, ecc…) che
dal web: questi ultimi sono forniti da
Blogmeter Now.
Blogmeter Now
Tutti i flussi di tweet relativi alle partite di
calcio sono elaborati da Blogmeter Now. La
delivery verso la piattaforma TIM Strudium è
attraverso API. TIM Stadium che rende
disponibili nella sua interfaccia:
• i volumi di tweet
• il sentiment (positivo/negativo) dei tweet
• il flusso dei tweet
• i tweet più retwittati
• gli hashtag più usati
• i profili Twitter più citati

ProActive
PROtezione del territorio con infrAttrutture ICT avanzate, cittadinanza attiVa, e rEti sociali
PROPONENTI
• WebRatio - MPMI (coord)
• Polimi - OdR
• Cefriel - OdR
• Vodafone - GI
• Gulliver MPMI
• Blogmeter - MPMI
• Pipetech - MPMI
• LSI-Lastem- MPMI
• MM - Utilities
• TEA - Utilities
PA COINVOLTE
• ARPA Lombardia
• Protezione Civile
• Comune di Bergamo, Milano, Como e Mantova (pending)
Obiettivo: Comprendere in real-time come si
muovono i cittadini nel territorio e ad individuare
attraverso l'analisi dei contenuti che arrivano
dalle rete sociali eventuali problemi
Bando Smart Cities;
Programma Operativo Regionale (POR) per la Competitività;
Fondo europeo di sviluppo regionale (FESR).
AMBITO
a. Sostenibilità ambientale
SETTORI
a.1 sicurezza del territorio
a.2 mobilità urbana
a.4 gestione risorse idriche
SPESE AMMISSIBILI
RI & SS 5.000.000,00 euro
CONTRIBUTO BANDO SC
RI & SS 2.000.000,00 euro

Un’ultima cosa: Eventi su Twitter

Eventi su twitter
Abbiamo dati con sufficiente
ampiezza e profondità
storica
Siamo in grado di studiare la
forma delle curve di
conversazioni che possono
nascere in relazione ad un
certo evento
http://blog.wolframalpha.com/2013/06/10/using-formulas-for-everything-from-a-complex-analysis-
class-to-political-cartoons-to-music-album-covers/

Che cosa ci dicono i dati?
1. A parità di volume, le serie temporali di post
possono avere forme molto diverse, suggerendo
atteggiamenti profondamente differenti da parte
degli utenti Twitter.
2. Diversamente dal semplice conteggio dei volumi,
l’analisi della forma ci fornisce delle misure più
significative del fenomeno.
3. Oltre a essere un’analisi interessante, ci fornisce
gli strumenti per il nostro capacity planning

Alluvione di Genova, andamento tweet
9 ottobre
Post totali: 807k
Post negativi: 140k
Comportamento: picchi
10 ottobre
Post totali: 863k
Post negativi: 147k
Comportamento: piatto
15 novembre
Post totali: 751k
Post negativi: 116k
Comportamento: piatto
16 novembre
Post totali: 738k
Post negativi: 128k
Comportamento: picchi

Diverse trasmissioni di intrattenimento
22 novembre:
Lazio – Juventus (#)
23 novembre:
Milan – Inter (#)
23 ottobre:
X Factor (#)
22 novembre:
Che Tempo Che Fa (#)

Recap: una tassonomia delle curve di reazione
Serie di Tweet
Uniformi Picchi
Notizie/aggiornamenti Intrattentimento/episodi
Maggiore
coinvolgimento iniziale
Coinvolgimento
continuativo

Dal 2007 Blogmeter ha supportato 100+ aziende e agenzie nell'ascolto del web
e nell'analisi delle performance sui social media, realizzando più di 500
+39 0249526400
marketing@blogmeter.it
www.blogmeter.it
Milano | Roma | Torino
Grazie per
l’attenzione!
progetti.
Contattaci per una
demo di Blogmeter Now
@Blogmeter facebook.com/Blogmeter Consulta le nostre ricerche Guarda le nostre infografiche

Real-time discovery e sentiment analysis su Twitter: Blogmeter Now

Recommandé

Recommandé

Contenu connexe

Similaire à Real-time discovery e sentiment analysis su Twitter: Blogmeter Now

Similaire à Real-time discovery e sentiment analysis su Twitter: Blogmeter Now (20)

Plus de Me-Source S.r.l./Blogmeter

Plus de Me-Source S.r.l./Blogmeter (20)

Real-time discovery e sentiment analysis su Twitter: Blogmeter Now

Notes de l'éditeur