Arutyunyan Gayane BigData и Social Media Analytics

1. © 2015 IBM Corporation
BigData и Social Media Analytics
Arutyunyan Gayane
IBM Client center
Gayanerub@ru.ibm.com

2. © 2015 IBM Corporation
Содержание
 Откуда берутся данные
 Инструментарий для работы с данными
 Значение соц. - медиа ресурсов
 Примеры реализации проектов IBM

3. © 2015 IBM Corporation
Вступительное видео
Social Media Analytics: - https://www.youtube.com/watch?v=p9KkQs-NP5w

4. © 2015 IBM Corporation
*Список Forbes “Top 7 Social Media Marketing Тренды
которые будут доминировать в 2014”
1. Инвестиции в социальные медиа станет
необходимостью а не роскошью.
2. Google+ станет одним из значительных
факторов влияния на бизнес.
3. Фото -ориентированные сети будут иметь
огромный успех.
4. Мы будем свидетелями роста микро-видео.
5. В 4-ом квартале будет резкое сокращение
доходов.
6. MySpace будет увеличивать число
пользователей .
7. LinkedIn станет крупным игроком на рынке B2B.
6
*Sept 2013 – Forbes Magazine

5. © 2015 IBM Corporation
Статистика использования интернета в России
7
Количество открытых сообщений, публикуемых в русскоязычных соцмедиа в месяц
составляет порядка 300 млн. Ежедневно публикуется около 10 млн постов,
комментариев, твитов и других публичных сообщений.
57%
Статистика распространения интернета в России

6. © 2015 IBM Corporation
Откуда берутся данные?
12+ TBs
of tweet data
every day
25+ TBs
of
log data
every day
?TBsof
dataeveryday
2+
billio
n people
on the
Web by
end 2011
30 billion
RFID tags today
(1.3B in 2005)
4.6
billion
camera
phones
world
wide
100s
of
million
s of
GPS
enable
d devices
sold
annually
76 million smart
meters in 2009…
200M by 2014
8

7. © 2015 IBM Corporation
Основные группы анализа
Demographics & Geographic's
IBM Social
Media Analytics
Кто?
Topics
Что?
Time
Когда
?
Influencer Scoring
and Sentiment
Как?
Sites & Forums
Где?

8. © 2015 IBM Corporation
Превращаем данные в значимую для бизнеса информацию
 Обработка 100 миллионов данных из эл. медиа источников
 Просмотр результатов через панели руководителей
 Изучаем клиентов :
– Поведение
– Сегментацию
– Доля присутствия
– Сходные шаблоны
– Настроение клиентов (8 языков)
– Развивающиеся темы
10

9. © 2015 IBM Corporation
Traditional /
Relational
Data Sources
Экосистема Big Data
Streaming
Data
Traditional
Warehouse
Analytics on
Data at Rest
Data
Warehouse
Analytics on
Structured Data
RTAP: Analytics on
Data in Motion
BigInsightsNon-Traditional /
Non-Relational
Data Sources
Non-Traditional /
Non-Relational
Data Feeds
Traditional /
Relational
Data Sources
Internet-
Scale
Data Sets
Streams

10. © 2015 IBM Corporation
Компоненты для построения решений и анализа данных
BI /
Reporting
BI /
Reporting
Exploration /
Visualization
Functional
App
Industry
App
Predictive
Analytics
Content
Analytics
Analytic Applications
IBM Big Data Platform
Systems
Management
Application
Development
Visualization
& Discovery
Accelerators
Information Integration & Governance
Hadoop
System
Stream
Computing
3 - Extend your data
warehouse to
incorporate new data
types
InfoSphere BigInsights
2 – Take advantage of
streaming data and find
the valuable insights
InfoSphere Streams
1 – Discover,
understand and
navigate all big data
sources
Data Explorer (Vivisimo)
5 – Optimize
infrastructure to lower
cost and improve
performance
PDA/PDOA
(Netezza/ISAS)
4 – Reduce the cost of
your data warehouse
by utilizing Hadoop
InfoSphere BigInsights
6 – Establish and
maintain an accurate,
secure and trusted view
of all available data
InfoSphere Information
Server & Optim
Master Data Management
Databases & Tools
7 – Manage and
leverage trusted
customer and product
information
InfoSphere MDM
Data
Warehouse

11. © 2015 IBM Corporation
Social Media Analytics:
Система поиска новых клиентов в социальных
сетях

12. © 2015 IBM Corporation
Ключевые особенности Системы
Что делает Система?
 Собирает сообщений из
социальных сетей
 Анализирует на предмет
интереса к продуктам банка
 Предоставляет инструмент
для анализа
потребительского спроса
Что делает Систему уникальной?
 Работа с любыми объемами
и числом источников в
режиме реального времени
 Развитый инструментарий
анализа естественного
русского языка
 Возможность работы с
любыми типами данных –
текстом, видео,
транзакциями, геолокацией и
пр.

13. © 2015 IBM Corporation15
Главный экран – пример интерфейса

14. © 2015 IBM Corporation
Сценарий 1. Анализ интереса. Общая статистика.
1 2
3
Система организована в форме нескольких
управленческих панелей, визуализирующих
аналитику по интересу к продуктам и отзывам
пользователей социальных медиа на текущий
момент времени. Сейчас система работает с
данными из Вконтакте, Твиттера, Фэйсбука и более
30 банковских и региональных форумов.
Инструмент анализа интереса выявляет
потенциальных клиентов в сети Интернет на основе
анализа их высказываний в медиа.
1. Лента сообщений
На экран выводятся
сообщения, в которых система
обнаружила явную или
неявную потребность в
банковском продукте.
Например, фраза человека о
желании купить автомобиль
может говорить о потребности
в кредите на авто. Для этого
применяются алгоритмы
анализа естественного
русского языка.
2. Статистика
Система настроена на
выявление потребностей в
пяти розничных продуктах,
развиваемых банком.
Ежедневно идет подсчёт
оперативной статистики по
числу новых клиентов и
возможностей, обнаруженных
системой. Система дает
возможность анализа
демографических
характеристик целевой
аудитории.
3. Динамика
Мы можем наблюдать за
изменением уровня интереса к
продуктам банка во времени и
по различным источникам.
Например, выявление
всплесков интереса к
потребительскому
кредитованию в соцмедиа
может позволить банку в
ежедневном режиме
отслеживать и корректировать
маркетинговые кампании.

15. © 2015 IBM Corporation
Сценарий 2. Анализ интереса. Ипотечное кредитование.
Специалист по продажам банка может изучить
детали выявленного интереса к продукту и его
реальную картину. Методы анализа высказываний
пользователей позволяют с высокой точностью
определять их детальные характеристики – пол и
возраст автора, местоположение, особенности
объекта интереса. Это могут быть конкретные
марки автомобилей, вторичное жилье, бытовая
техника или образование в конкретном вузе.
Этот инструмент позволяет принимать оперативные
решения о подходах к работе с новыми клиентами.
1. Сегментация
Этот мощный инструмент
позволяет в режиме реального
времени увидеть Интернет-
авторов, объединенных по
однородной структуре
профессий, интересов,
географии, пола и возраста.
Это даёт возможность
направленного воздействия на
активные группы конкретными
предложениями. Так банк
адаптирует предложения к
потребностям клиентов.
2. Статистика
Показатели по отдельным
продуктам считаются по
небольшим продуктовым
группам. В ипотеке это дом,
участок, квартира, гараж и др.
В рейтинге специалист банка
видит наиболее популярные
темы, обсуждаемые
населением. По каждой
выявленной возможности с
автором сообщения может
быть организована
индивидуальная работа.
3. Ключевые слова
Система формирует на основе
обсуждений облако
популярных ключевых слов.
Это даёт дополнительную
информацию о специфике
обсуждаемых тем. Облако
слов полезно для выявления
неявных особенностей спроса,
например, обсуждение
проблем при оформлении
ипотеки под материнский
капитал.
1 2
3

16. © 2015 IBM Corporation
Сценарий 3. Анализ отзывов. Общая статистика.
Инструмент анализа отзывов – мощный способ
наблюдения за качеством услуг банка и общим
состоянием его бренда. Ключевой особенностью
является высокая точность «понимания»
содержания высказываний, а не только их
эмоциональной окраски. Так, отзыв о
недоступности функций системы онлайн-банкинга
может быть выявлен и обработан сразу после
написания. Автоматизация этого процесса
минимизирует риск человеческой ошибки и
невнимательности в мониторинге качества услуг.
1. Сегментация
Этот блок оптимален для
выявления групп
«сторонников» и
«противников» бренда или
услуги. Руководитель может
получать эту информацию на
мобильное устройство в
течение дня, а служба
качества – чутко следить за
любыми проблемами в
обслуживании.
2. Статистика
В этом компоненте ведётся
совокупная информация по
отзывам об услугах банка с
указанием тональности и
местоположения.
Информация по каждому
отдельному отзыву из
статистики может содержать
потенциал для повышения
качества обслуживания.
3. Динамика
Анализ динамики по-
ложительных и отрицательных
отзывов в режиме реального
времени позволяет вовремя
обнаружить проблемы,
всплески обсуждений, атаки на
бренд, информационную
активность конкурентов. Срав-
нение услуг с конкурентами
возможно путем добавления
новых правил анализа тек-
стовых сообщений.
1 2
3

17. © 2015 IBM Corporation
Сценарий 4. Анализ отзывов. Онлайн-банкинг.
Специалистам банка система предоставляет
возможность углубленного анализа отзывов и их
содержания. По каждому из отзывов об услуге
можно определить основную причину, которая его
вызвала, эмоциональную тональность, связать этот
отзыв с местоположением автора. Система может
также самостоятельно обучаться и выявлять новые
темы и причины отзывов, ранее ей неизвестных.
Возможность связать отзыв с профилем клиента в
дальнейшем позволит адресно повышать
лояльность к бренду и услугам компании.
1. Лента сообщений
В ленте сообщений
выводятся отзывы
пользователей об услугах
банка. Система определяет
автора, эмоциональную
окраску отзыва, выделяя
ключевые слова,
характеризующие опыт работы
с банком. Лента сокращает
сотрудникам время по
обработке отзывов и
позволяет реагировать на них
в течение операционного дня.
2. Статистика
Помимо демографии и
местоположения, система
извлекает информацию о
характеристиках услуги банка,
которые обсуждают поль-
зователи Интернет. Наиболее
популярные характеристики по
числу отзывов выводятся
аналитику. Это позволяет
быстро адаптировать обслу-
живание банка к потребностям
клиентов.
3. Динамика
Банк отслеживает изменение
отношения к его услугам за
выбранный период времени.
Он может отследить явные
всплески активности
популярности услуг, новые
темы и причины отзывов, дей-
ствия конкурентов, недостатки
продуктов или качества
обслуживания. За счёт этого
банк может добиться вы-
сочайшего уровня обслу-
живания.
1 2
3

18. © 2015 IBM Corporation
Сценарий 5. География интереса.
Анализ в разрезе географической принадлежности
автора проводится для регионов восточнее Урала,
имеющих отношение к деятельности банка.
Визуальный анализ активности и уровня интереса
эффективен для мониторинга маркетинговых
мероприятий и реакции на вывод новых продуктов
в регионе. Для выбранного на карте региона
представлены данные об экономической
обстановке в регионе и детальная статистика по
интересу к линейке продуктов банка.
1. Картограмма
Карта регионов содержит
цветовую градацию общего
уровня интереса к банковским
продуктам. Для каждого из
федеральных округов
дополнительно выводится
экономическая статистика и
детальная статистика
интереса по регионам и
продуктам.
2. Экономика округа
Данный компонент
сформирован на основе
актуальной экономической
ситуации в регионе и
содержит информацию для
аналитика о показателях
рынка банковских услуг,
уровне спроса и пр. Её можно
использовать для
сравнительного анализа с
фактическим уровнем
интереса в Интернете.
3. Статистика
Статистика уровня интереса
ко всем продуктам даётся в
отдельности для каждого
федерального округа. На
основе её сотрудник банка
может получить
всеобъемлющую картину о
потенциальных клиентах
банка и их текущей
активности.
1 2
3

19. © 2015 IBM Corporation
Архитектура решений по Big Data
Cleverlance
SMART
BigInsights I2 ANB
Watson Content Analytics
Content
Classification
Streams
Sentiment
Entity
Recognition
Cogniware
Spatial Analysis
Custom
Classifiers
SPSS
Voice Watson
Cogniware
I2 Integration
Cogniware
SPSS Integration
DATA COLLECION DATA EXTRACTION/ANALYSIS DATA ANALYSIS/VISUALIZATION
Cogniware
Entity Matching
Full Natural
Language
Processing

20. © 2015 IBM Corporation
Модуль анализа Системы – на основе уникальных
компонентов (IBM Infosphere Streams)
Объёмы
данных
Типы
данных
Скорость
обработки
Сложная
аналитика
Гибкость
Возможности обрабатывать
Петабайты данных в день
Работа со транзакционными и
неструктурированными данными
(аудио, видео, изображения,
сигналы датчиков
Предоставление результатов
анализа с откликом в милли- и
микросекунды
Выполнение сложной аналитики,
включая выявление паттернов,
прогнозирование и использование
внешних компонентов
Развертывание на стандартной
недорогой инфраструктуре x86,
горизонтальное масштабирование
Миллионы
событий
в секунду
Микросекундные
задержки
Традиционные и
нетрадиционные источники
Обработка в реальном времени
Аналитика
Расчет показателей
real time
Контроль cистем
безопасности
Анализ логовПредотвращение
мошенничества
Видео-
аналитика
Мониторинг
платежей
Контроль
местонахождения

21. © 2015 IBM Corporation
Social Media Analytics:
Примеры реализации

22. © 2015 IBM Corporation
IBM Social Media Analytics
Enhances the Customer
Experience at:
 Business Need: Detect risks to its reputation,
increase positive feedback, and customer
satisfaction.
 Solution: IBM Social Media Analytics
 Benefits: Proactively make plans and business
decisions based on insight gained. Measure
success of communications and approaches to
stakeholder engagement. Be nimble in response
to customer needs and feedback.
• BBVA is a customer-centric global
financial services group founded in
1857.
• Its diversified business is biased to
high-growth markets and it relies on
technology as a key sustainable
competitive advantage.
• Presence in 30+ countries; solid
position in Spain, largest financial
institution in MX and franchises in
SA and the US
• 104K employees, 47M customers,
900,000 shareholders
• Earnings up 85.5% Y2Y 2012-2013
24
Early Adopters Are Ahead of The Curve

23. © 2015 IBM Corporation25
European Bank
IBM Social Media Analytics was implemented for Better Brand Monitoring and Risk
Management
The Bank needed an online tool to detect possible risks to its reputation in order to increase positive feedback and
customer satisfaction. the Bank branches around the world reported individual analyses about the Bank’s online
presence to Communications, Brand & Reputation and CSR departments, but widely differing samples and criteria in
the USA, South America and Spain made reporting inconsistent.
IBM Cognos Consumer Insight (now IBM Social Media Analytics ) automates this online analytic process with a high
degree of scalability. The solution can identify the subject, type, date, author, title and country of online comments
made about the Bank and its brands. News channels, blogs, forums, Facebook and Twitter are regularly checked
and analyzed, delivering in-depth insight in consistent, easy to understand packaged reports.
Business Need:
Solution:
Benefit:
Enables the Bank to consistently respond to and gain insight into customer needs and feedback. Gives the Bank
the ability to measure the success of its outputs and approaches to engaging stakeholders and customers. Shows
whether positive or negative sentiments have increased or not, looks for the source and reason of comments and
helps make decisions and plans. Ensures understanding of reputational risk.

24. © 2015 IBM Corporation
Анализ и предсказание результатов
EuroBuzz with France Televisions
• Collect unstructured data from social media
sources in real-time
• Extract structured information from
unstructured text using text analytics tools
• Aggregate a huge amount of data to provide
rich KPIs and trends
Process large incoming data and compute real-
time analysis from various and unstructured
content
Detect real-time insights from social media
contents, anticipate, detect new consumer
trends, behaviors.
Solution Overview
Challenges
Solution
Benefits
Tweets on
Eurovision
event
API
Real-Time Tweet
Analysis to get artists
buzz
#eurovision
#eurofrancetv
buzz
More than
1.200.000
tweets filtered
by Streams and
containing a
buzz on artists
and songs
Semi-finals &
finals
24 hours Data
Aggregation
with Streams
11 tweets/sec
peaks on
France
Televisions
hashtag during
the show
Outline Sweeden success 3 hours before
the end of the show
« Best Web App » (IBC Award 2012)