1. Коммуникационная консалтинговая компания
Маркетинг в социальных медиа (SMM)
Клиент Бренд
Проект Настройка алгоритма автоматического определения тональности
упоминаний в системе IQBuzz
Термины
Оценочные упоминания* (ОУ) – упоминания от потребителей, в которых содержатся оценочные
суждения о бренде/продукте (позитивной, негативной или смешанной, т.е. позитивной и негативной
одновременно, тональности).
Безоценочные упоминания (БУ) – упоминания потребителей, в которых бренд/продукт обсуждается, но
без наличия в них очевидных оценочных суждений.
PR-упоминания (PR) – упоминания от компании, потребителей или третьих лиц преимущественно
новостного или рекламного характера и не содержащие потребительских упоминаний.
Шум (Шум) – упоминания бренда/продукта в случайном, не касающемся бизнеса компании контексте.
Позитивные упоминания – упоминания, которые определены автоматически в системе IQBuzz как
содержащие позитивные ОУ (через настроенный алгоритм).
Негативные упоминания – упоминания, которые определены автоматически в системе IQBuzz как
содержащие негативные ОУ (через настроенный алгоритм).
Смешанные упоминания – упоминания, которые определены автоматически в системе IQBuzz как
содержащие смешанные ОУ (через настроенный алгоритм).
Автоматически определенная тональность (АОТ) – объем ОУ, определенных автоматически в системе
IQBuzz после процедур оптимизации алгоритма определения тональности.
Автоматически не определенная тональность (АнОТ) – объем упоминаний, оставшийся после
применения алгоритма определения тональности ко всей выдаче (содержит PR-упоминания, Шум, а
также БУ и ОУ, которые – ОУ - определяться после дальнейшей оптимизации алгоритма).
Потенциально определяемая тональность (ПОТ) – сумма АОТ и ОУ внутри АнОТ (объем всех
теоретически определяемых ОУ в выдаче).
Уровень автоматически определенной тональности (уАОТ) – отношение объема фактически
определенной тональности к объему ПОТ (в %).
Доля оценочных упоминаний (ДОУ) – доля ОУ среди всех потребительских упоминаний (сумма ОУ и
БУ) в выдаче.
На странице ниже визуализирована структура отношений данных категорий упоминаний.
* 4 нижеприведенные показателя объема упоминаний той или иной категории получены с помощью
репрезентативного выборочного анализа упоминаний с неопределенной тональностью, оставшихся после
оптимизации алгоритма автоматического определения тональности в IQBuzz.

2. Структура соотношения различных категорий упоминаний
(визуализация отношения терминов)
Упоминания
АнОТ АОТ
ДОУ Оценочные Безоценочные PR-
(=ОУ/(ОУ + Шум
упоминания упоминания упоминания
БУ)
Позитивные Негативные Смешанные Оценочные
упоминания упоминания упоминания упоминания
ПОТ
Позитивные
упоминания
Негативные
упоминания
Смешанные
упоминания
АОТ
уАОТ = АОТ/ПОТ
ДОУ (доля оценочных упоминаний) демонстрирует, сколько оценочных потребительских
упоминаний среди всех потребительских упоминаний по выдаче (без учета уровня шума и PR-
упоминаний вы выдаче). Позволяет понять, сколько в контенте от потребителей содержится
оценок бренда/продукта, а сколько в контенте просто упоминают/обсуждают бренд/продукт
без явных оценочных суждений (которые могут быть автоматически определены в IQBuzz),
уАОТ (Уровень автоматически определенной тональности) демонстрирует, сколько оценочных
упоминаний удалось определить автоматически после оптимизации алгоритма определения
тональности. Позволяет понять, какова эффективность алгоритма* и оценить целесообразность
его использования. В случае, если бренд упоминаемый и уровень составляет 20% и более, то
можно считать затраты на настройку алгоритма целесообразными.
*Данный показатель не является окончательным, так как может быть повышен 2 путями – через регулярную
оптимизацию алгоритма и через настройку отдельных поисковых запросов (подрубрик) для сбора оценочных
упоминаний, которые на данный момент алгоритм уловить не в состоянии. Второй путь может повысить
эффективность вплоть до 80-90% определения тональности в зависимости от уникальности бренда/продукта и
характера их упоминаний.
contact@smm3.org

3. Распределение данных по запросу Бренда
Упоминания
3278 - 100%
АнОТ АОТ
2930 - 89% 331 - 11%
ДОУ Оценочные Безоценочные
PR Шум
(=ОУ/(ОУ + БУ) упоминания упоминания
16% 761 - 26% 146 - 5%
322- 11% 1640 - 56%
Позитивные Негативные Смешанные Оценочные
упоминания упоминания упоминания упоминания
322 – 11% ПОТ
653 – 22%
Позитивные Негативные Смешанные
упоминания упоминания АОТ
упоминания
84 - 24% 263 - 75% 1 - 0.02%
331 – 11%
уАОТ = АОТ/ПОТ
331/653 = 50,69%
Выводы
1. 69% упоминаний в выдаче относятся к потребительскому контенту (ОУ = БУ);
2. 16% упоминаний внутри потребительского контента являются оценочными (ДОУ);
3. 50% из оценочных упоминаний автоматически определяются при данных настройках
алгоритма.
Таким образом, после первичной настройки алгоритма автоматического определения
тональности** удалось достичь эффективности на уровне 50%. Этот показатель достаточно
высокий, чтобы использовать алгоритм и регулярно оптимизировать его в дальнейшем –
наряду с использованием альтернативных способов фиксации оценочных упоминаний через
отдельные подрубрики.
** Аналитики smm3 используют собственные правила отбора оценочных упоминаний и соответствующего
определения их тональности. В дальнейшем полученные показатели могут быть скорректированы согласно
правилам определения тональности на стороне клиента. Для этого используются дайджесты позитивных, негативных
и смешанных упоминаний, в которых клиент может провести проверку и коррекцию правил определения
тональности и предоставить данные документы для коррекции алгоритма smm3. При этом smm3 в дальнейшем
оставляет за собой право использовать правила отбора упоминаний и полученный алгоритм автоматического
определения тональности по своему усмотрению.
contact@smm3.org