Автоматизация сбора инсайтов через отзывы: семантический анализ и авто-тегирование

Go to the profile of Анна Кочеткова
Анна Кочеткова
Автоматизация сбора инсайтов через отзывы: семантический анализ и авто-тегирование

Итак, мы уже выяснили, что рейтинг является одной из важнейших метрик мобильного приложения, которая оказывает влияние на многие факторы. Мы разобрали, как оперативно “потушить пожар” и нейтрализовать негативные спайки отзывов. Пришло время погрузиться глубже - стратегия по работе с отзывами: с чего начать или как продолжить?

Ниже мы разберем кейс, когда работа с отзывами уже ведется, но приведенные тактики и стратегия может быть применимы и при начальном этапе работы с отзывами.

Итак, кейс:



Перегруз команды поддержки довольно распространенный кейс в наше время. Но зачастую, где есть проблема - существует несколько вариантов ее решения. В этом конкретном случае мы поговорим про автоматизацию рутинных задач команды поддержки.

Важно: Эта тема очень обширная, поэтому мы разделим ее на два блока:

  1. анализ отзывов и подготовка фундамента для автоматизации (текущая статья);
  2. настройка авто-ответов и лучшие тактики (следующая часть академии).

Начнем с того, что автоматизация это огромный шаг вперед в любом бизнесе и продукте. Грамотно настроенные процессы помогают не только сократить время/расходы, но и сделать весь процесс более эффективным с точки зрения результатов. Человеческий фактор - это всегда возможность принятия импульсивных и алогичных решений, в то время как автоматизация - машина, которой управляет настроенное правило. К тому же, тактика разбора потока отзывов 1-1 по мере их поступления (по аналогии с разбором внутренних тикетов) чревата перегрузом ручной неэффективной работы.

Говоря о работе с отзывами в мобильных магазинах и автоматизации работы команды поддержки, важно отметить, что не все отзывы могут подходить под автоматизацию.

Какие отзывы поддаются автоматизации: определение 1, 2 и 3 линий

Для начала, давайте разберем, ответы на какие отзывы можно и нужно автоматизировать:

  • Повторяющиеся ошибки и темы
  • Короткие отзывы (1-3 слова/emoji/наборы букв)
  • Благодарственные отзывы
  • Оскорбительные отзывы & Спам

Мы называем это - 1&2 линией отзывов. Иначе говоря - те отзывы, которые не требуют дополнительного вмешательства тех. поддержки для ответа/решения. Работа с 1-ой линией может ограничиваться простыми ответами (так например ответы на благодарственные отзывы или оскорбительные), 2-ая линия - более комплексные отзывы, где ответ может быть сезонным или меняться в зависимости от изменений в продукте.

3-я линия - сложные баги и вопросы, которые нуждаются в детальном исследовании. В контексте работы со сторами - такие отзывы перенаправляются в большой саппорт для дальнейшего решения кейса. AppFollow поддерживает интеграцию со всеми популярными хелпдесками (Zendesk, HelpShift, HelpScout и тд.), поэтому редиректить тикеты можно двумя способами:

  • Публичный: в ответе на отзыв (Dear user, ... please contact our support team via support@support.com)
  • Внутренний: отправка отзыва во внутреннюю хелпдеск систему напрямую в суппорт для дальнейшей обработки.

В зависимости от общей структуры вашей команды поддержки, любой из способов может быть принят во внимание.

Также отдельной категорией отзывов, которые мы не рекомендуем автоматизировать, являются зафичеренные отзывы. Зафичеренные отзывы (featured reviews) видны в карточке приложения без перехода в полный раздел отзывов. Именно эти отзывы являются самыми читаемыми и оказывают сильное влияние на конверсию в установку, так что отвечать на эти отзывы мы рекомендуем в ручную, так как их немного. В App Store количество зафичеренных отзывов не превышает 6 на страну, в Google Play может быть до от 3 до 8 отзывов в каждой локале.

И Apple и Google Play периодически обновляют список этих отзывов в каждой стране, чтобы упростить процесс отслеживания этих отзывов (вместо ручного отслеживания), в AppFollow можно посмотреть все актуальный зафичереный отзывы за любой период с помощью фильтра:


Ответы на эти отзывы (так же как и сами отзывы) являются самыми видимыми. Мы рекомендуем отвечать на эту когорту отзывов вручную, чтобы избежать дубляцию шаблонов в видимой зоне.

Снижение ручной работы команды поддержки: этап первый - тегирование отзывов

Итак, мы определили, какие отзывы могут попасть под автоматизацию. Теперь давайте посмотрим, как настроить весь процесс с самого начала.

Важно: мы выстроили процесс “по-порядку”, однако в зависимости от срочности и приоритетов внутри каждой команды, подход и очередность шагов может варьироваться.

Для автоматизации любого процесса, в том числе и работы с отзывами, в первую очередь необходимо провести предварительный анализ и сегментировать когорты. Говоря об отзывах, у любого продукта есть своя специфика и жанровость фидбека. Например, пользователи игровых проектов чаще всего жалуются на проблемы с внутренней монетизацией продукта (pay2win, pay for progress). Продукты сферы e-commerce часто сталкиваются с нерелевантными отзывами о продукте - негативе, связанным с качеством товара и работой поставщика. Так, у каждого продукта будут разные топики/сегменты, но принцип их первичной сегментации может быть схожим - семантический анализ.

1. Семантический анализ:

Давайте рассмотрим реальный кейс популярной игры. Ниже на скриншоте представлен семантический анализ по категориям, которые были выявлены автоматически на базе анализа построенного при помощи машинного обучения на стороне AppFollow. Алгоритм выделяет основные темы отзывов (используя ключевые слова) и агрегирует их по темам. Средний рейтинг по каждой теме является одним из показателей, который может приоритизировать разбор и более глубинный анализ той или иной когорты. Чем ниже средний рейтинг по выбранному сегменту - тем выше вероятность обратить внимание на него в первую очередь.

Ниже пример семантического анализа одной популярной мобильной игры, сделанный без разделения на языки/страны. Мы видим, что самый низкий средний рейтинг у топика Bugs, ныряем глубже.

Внутри каждого сегмента есть более детальное разделение по тематике. Например, когорта Bugs детализируется на подвиды проблем (App Freeze, Connection Issues и тд.).



Согласно данным выше, сегменты ‘Doesn’t work’ & ‘App Freeze’ являются наиболее критичными. К тому же, количество отзывов в первом топике превалирует, значит взаимодействие с этой когортой как с самой многочисленной потенциально может более существенно и оперативно повлиять на позитивные изменения в метриках (Reply Effect, Av. Rating). Так, начать настройку правил и автоматизации можно с этого сегмента.

Таким образом, благодаря автоматическому семантическому анализу, можно оперативно сориентироваться в топиках и оценить фронт работы. Однако, семантический анализ лишь первая ступень, помогающая разобраться больших объемах фидбека. Для более точной настройки ответов, необходимо углубиться в сами отзывы. В предыдущей главе нашей академии, мы выявили, что у одной темы/проблемы может быть несколько граней и для создания более релевантного и точного ответа - важно их найти. Давайте разберем еще один способ.
2. Авто-Теги

Семантические теги - простой и быстрый шаг, помогающий охватить бОльшее количество отзывов. Однако, бывает, что проект сталкивается со специфическими темами, которые не покрываются семантикой. Или, как упоминалось выше, внутри одной темы возникает жанровость. Уточнить и категоризировать такие отзывы возможно с помощью ручного тегирования.

Например, в ходе анализа семантической категории отзывов ‘Login & Access’ мы выяснили, что многие пользователи испытывают трудности с входом в приложение именно через Facebook. Это баг, известный разработчику, требующий определенных действий со стороны пользователя чтобы устранить проблему. Соответственно, ответом на такой отзыв может стать гайд/описание действий, которые помогут пользователю устранить проблему.

Для того, чтобы отделить эти отзывы от общей проблемы Логина, мы настраиваем правило, которое будет собирать эти отзывы под отдельным кастомном тегом.


Создав тег (по такому же принципу можно разобрать и протегировать любую когорту отзывов и тем), настраиваем правило, благодаря которому любой последующий отзыв, подходящий под критерии правила, будет автоматически протегирован.

Важно: эти примеры правил представлены на английском языке. Работая с мультиязычными проектами и отзывами можно придерживаться несколько тактик:

  1. если ваша команда приняла решение отвечать всем пользователям на английском языке, тогда правила тегов и автоответов можно унифицировать с помощью добавления правила Перевода. Так, все отзывы на любом языке переводятся на английский язык и цепляют слово/слова, которые вы вынесли как критерий. Это позволяет проставить одинаковые теги на все необходимые языки.
  2. если же ваша команда поддержки мультиязычна или вы используете помощь переводчиков при ответе на определенные языки, подобные правила тегов можно создать под каждый язык отдельно, используя локальные ключевые слова и актуальные темы отзывов.

Подробнее о том как эффективно работать с отзывами на разных языках мы рассказываем в следующей части нашей академии.

Семантический анализ и авто-теги - стабильный источник инсайтов для любого продукта

Итак, настройка авто-тегирования может варьироваться в зависимости от проекта/жанра. Мы показали один из возможных способов как дробить одну тему на подвиды с помощью комбинирования семантических и ручных тегов для более таргетированных ответов. Однако, авто-теги можно привязывать и к рейтингу отзыва, и к длине отзыва (что часто бывает актуально для сегментирования ответов на положительные (5 звезд) или резко негативные, но не содержательные отзывы). У каждого проекта своя специфика, но высокоуровневый анализ нужен всем. Это сильно упрощает работу и дает хорошие инсайты о продукте самой команде. Однако об этом в следующих главах.

Так, с помощью семантического анализа и инструмента авто-тегирования мы разобрали как оперативно проанализировать и сегментировать пользовательские отзывы. Сейчас мы заложили фундамент, который поможет нам не только следить за динамикой настроения пользователей, отслеживать всплески проблем, но и станет базой для построения системы авто-ответов.

В следующей части, мы поделимся информацией как построить стратегию по автоматизированном ответам на отзывы и ответим на изначальный вопрос из кейса: “Как мы можем улучшить наши показатели и обрабатывать больше отзывов текущими ресурсами?”


Посмотрите другие публикации:

Работа с отзывами: на что влияет средний рейтинг приложения приложения?

Работа с отзывами: на что влияет средний рейтинг приложения приложения?

Как эффективно работать с отзывами в мобильных сторах и как повысить рейтинг своего приложения? Проч...

Анна Кочеткова
Анна Кочеткова
“Пятничный апдейт” или как оперативно работать со спайками отзывов

“Пятничный апдейт” или как оперативно работать со спайками отзывов

Незапланированный наплыв отзывов - довольно частый кейс. В эти дни команда поддержки может быть силь...

Анна Кочеткова
Анна Кочеткова
Автоматизация ответов на отзывы: основные приемы и лучшие практики

Автоматизация ответов на отзывы: основные приемы и лучшие практики

В работе с отзывами автоматизация занимает большое место - снижение затрат, сокращение времени обраб...

Анна Кочеткова
Анна Кочеткова
О самом важном: KPI команд поддержки и измерение результатов

О самом важном: KPI команд поддержки и измерение результатов

Скорость, шаблоны и язык ответа - все эти факторы влияют на эффект от ответа (изменение оценки отзыв...

Анна Кочеткова
Анна Кочеткова

Следите за приложениями с помощью AppFollow