О самом важном: KPI команд поддержки и измерение результатов

Go to the profile of Анна Кочеткова
Анна Кочеткова
О самом важном: KPI команд поддержки и измерение результатов

Итак, мы подходим к самому интересному моменту нашей академии, а именно - как можно измерить результат работы команды поддержки. В первой части академии, мы уже упоминали некоторые важные метрики - Average Rating, Average Reviews Rating, Average New Rating, Reply Effect. Однако, есть и другие: CAST, Reply Rate, Reply Time. Все эти показатели могут стать KPI для команды на разных этапах работы с отзывами. Давайте разберем подробнее и начнем с вопроса от одного из пользователей AppFollow:

Как обычно, стоит сказать, что на разном этапе развития продукта, KPI команды поддержки может быть разный. Когда отзывов единицы, каждый пользователь может получить персональный ответ и одним из главных KPI может стать высокий (90%+) Reply Rate и Reply Time. Когда отзывов становится больше, Reply Rate может упасть, а фокус сместится на семантический анализ отзывов с выявлением точек роста для продукта. Однако давайте рассмотрим работу команды поддержки через призму верхнеуровневых результатов - а именно влияние на средний рейтинг приложения.

Разбор среднего рейтинга приложения: quantity и quality подход к метрикам

На схеме выше мы разложили компоненты и промежуточные метрики по работе с отзывами. Начнем с того, что средний рейтинг складывается из всех входящих оценок - мы в AppFollow выделяем среднюю оценку именно по отзывам с текстом (average rating by reviews) и общее количество входящих оценок (user rated). На обе эти метрики прямое влияние оказывает расположение окна запроса рейтинга внутри приложения (in-app rating request prompt). Результат от экспериментов с внутренним запросом можно измерить исходя из позиции quantity и quality подхода.

Работа с нативным окном запроса рейтинга внутри приложения

Для начала, оба стора предлагают свое нативное решение для внедрения этого запроса. Использование кастомного способа запроса рейтинга запрещено гайдлайнами и может привести к серьезным последствиям вплоть до удаления приложения. Узнать подробнее про нативный метод API для App Store можно по ссылке, аналогичная информация для Google Play находится здесь

Ниже на графике вы можете увидеть пример удачного эксперимента с запросом рейтинга внутри приложения. В неделю апдейта с 15-21/03 разработчик внедрил нативное окно Rate us, предварительно выбрав нужную когорту пользователей и время показа окна. Количество оценок выросло моментально (метрика users rated), и результат впечатляет - +800% (с 20 оценок/сутки в среднем до пиковой отметки 165 оценок). Можно сказать, что первая quantity цель - привлечь отзывы в приложение - успешно достигнута.

Теперь обратим внимание на динамику среднего рейтинга приложения (av. total rating) - рост с отметки 2.4 до 3.9 меньше чем за месяц - колоссальный результат. Наша quality цель также успешно достигнута.

Бузусловно это успешный кейс, который показывает насколько разработчики знают своих пользователей. Правильное место и время запроса рейтинга лучше анализировать через призму CJM (customer journey map) и обязательно учитывать особенности платформ (AS/GP). Драйвером таких экспериментов могут быть разные команды: маркетинг, команда саппорта, продуктовая команда. Совершенно не обязательно, что с первого раза удастся найти оптимальное решение и придется перепробовать множество вариантов, но согласно принципу лучших маркетологов - “это надо тестить” (с).

KPI по работе с отзывами: как ответы влияют на средний рейтинг

Выше мы разобрали ответ на вопрос “как можно привлечь в продукт отзывы и сделать это максимально эффективно”. Зачастую окно запроса рейтинга генерирует бОльшую часть отзывов, которые не содержат текст (только звезды). Поэтому давайте разберем вторую важную когорту - а именно отзывы с текстом и рассмотрим методы влияния на метрику Average Reviews Rating.

Как в App Store, так и в Google Play пользователи имеют возможность редактировать свой отзыв (сделать изменения в тексте/самой оценке). В то время как работа с окном запроса рейтинга помогает генерить новые отзывы, работа с метрикой Average Rating by Reviews - в основном работа со старыми/текущими отзывами и их изменениями.

Одна из главных целей команды поддержки - с помощью своего ответа решить вопрос юзера и положительно повлиять на изменение оценки отзыва. В момент обновления оценки (даже самого старого отзыва), он засчитывается как новый отзыв => вносит вклад в средний рейтинг по отзывам и в общий средний рейтинг. Здесь строится сама стратегия ответов команды саппорта, а метрика Reply Effect будет прямым отражением эффективности выбранной тактики. Мы уже писали, что эффект от ответа - абсолютная дельта изменения рейтинга, например отзыв с оценкой 2 после ответа вырос до 4 => Reply Effect +2.000. Представим, что таких отзывов тысяча, и после ответов команды поддержки, 30% пользователей меняют отзыв на более положительный. Это значит, что вы получаете 300 более положительных отзывов и - соответствующий динамике изменений звезд - плюс к среднему рейтингу отзывов => общему среднему рейтингу приложения.

Стоит заметить, что на стороне AppFollow мы дополнительно выводим метрику No Reply Effect - статистика обновлений отзывов с текстом без ответа разработчика. Эта динамика обновлений также напрямую влияет на рейтинги. Давайте рассмотрим два небольших кейса ниже.


На скриншоте ниже мы видим общий положительный тренд изменений отзывов вне зависимости от ответа. Ответ разработчика увеличивает RE, но и больше 50% пользователей, обновивших отзыв без ответа разработчика, имеют тренд на позитивное изменение фидбека.

Причинами такого кейса может быть несколько обстоятельств:

  • Эффективная работа 3-ей линии саппорта;
  • Продуктовые апдейты, которые решают проблемы/баги пользователей;
  • Лояльно настроенная аудитория (будем честны - крайне редкий кейс).

Следующий скриншот ниже иллюстрирует другую ситуацию - общий негативный тренд обновлений отзывов. В случае с отрицательной динамикой No Reply Effect можно предположить, что лояльные пользователи сталкиваются с трудностями использования продукта, которые не находят должного внимания со стороны разработчика и вследствие чего, ухудшают свою оценку. А вот в контексте негативного тренда Reply Effect можно отметить, что текущая стратегия ответов не вполне эффективна.

В этом случае необходимо отфильтровать отзывы с негативной динамикой после ответа,

и проанализировать что могло стать причиной. Возможных варианта всего два:

Так, положительный Reply Effect в явном виде может выступить в качестве одного из KPI для команды поддержки. Поиск оптимального формата ответа, найти необходимый tone of voice для общения с пользователями, точная настройка автоответов - большая зона ответственности команды поддержки.

На базе исследований AppFollow, мы выяснили, что сам ответ не единственный фактор, влияющий на метрику Reply Effect. Важными показателями, которые влияют на позитивное изменение оценки являются:

  • Скорость ответа (Reply Time)
  • Сам текст ответа / точность подбора шаблонов (Templates)

Скорость ответа команды поддержки важна, так как отзыв в сторе не похож на стандартный процесс живого чата поддержки/тикета, где пользователь в реальном времени может общаться с агентом поддержки. Оставив отзыв, пользователь может забыть про него через некоторое время, поэтому важно успеть “дотянуться” до него, пока эта тема еще актуальна. Рекомендованная скорость ответа на отзыв на обоих платформах составляет от 1 до 3 часов, ответ данный в течении первого часа в разы повышает вероятность вытащить юзера на диалог/изменение отзыва.

Важно: ответ и сам отзыв постятся в сторе с задержкой, которая может доходить до суток. В AppFollow отмечается время факта отправки ответа на отзыв, но не факт его реальной публикации.

Шаблон ответа или же сам ответ - естественно одна из ключевых вещей, которая влияет на изменение оценки. Мы рекомендуем по возможности решать вопрос юзера в самом ответе, где это возможно. В качестве примера, можно сослаться на отзывы, связанные с UX темами, где ответом может стать пошаговое описание процесса. Например:


Такой точный ответ и решение вопроса on-the-go существенно способствует положительному тренду изменения оценки.

Точность попадания и настройки авто-ответов также важный аспект. Если пользователь получает автоматизированный ответ, нерелевантный его вопросу, реакция может быть отрицательно. Поэтому мы рекомендуем проверять настройки авто-ответов после запуска на предмет адекватности попадания в отзывы. Это можно сделать через специальный фильтр:

Все эти аспекты влияют на метрику - Reply Effect, которая в свою очередь делает вклад в динамику Av. Ratings by Reviews, который в свою очередь влияет на конечную и желаемую метрику общий средний рейтинг (Total Average Rating). С помощью промежуточных KPI, которые могут кастомизироваться и иметь разный приоритет в зависимости от объема отзывов, структуры команды поддержки, особенностей продукта, вы можете декомпозировать работы с общим средним рейтингом и вовремя перераспределять нагрузку команды поддержки, делая фокус на важном в конкретный момент. 

Мы поговорили про общие KPI и метрики, которые могут стать North Star Metric для любой команды саппорта, однако если команда состоит из нескольких участников, важно иметь возможность рассмотреть и улучшить при необходимости работу каждого специалиста в отдельности. Ниже мы расскажем как.

Agent Performance

Если ваша команда поддержки состоит из нескольких менеджеров, важно декомпозировать общий результат по метрика на конкретных агентов, чтобы выявить зоны роста. Давайте рассмотрим пример ниже.

Команда поддержки в игровом приложении Х состоит из 4х агентов. Ниже мы собрали данные при помощи инструмента Agent Performance об эффективности каждого члена команды. Давайте попробуем разобрать, какой агент является самым эффективным, а кому необходимо повысить качество работы.

Агент А опубликовал самое большое количество ответов (210), что составляет практически половину от работы всей команды (42%). Однако скорость его ответов значительно ниже Агента B (разница в 11 дней). Возможно именно это стало причиной разницы в эффекте от ответа на 1.900 пункта в пользу Агента B. Агенты C и D ответили на меньшее количество отзывов, делали это довольно долго и эффекта от обновления пока нет => отзывы не были изменены. Таким образом, можно сделать вывод что Агент B является самым эффективным на данном этапе с точки зрения Quality подхода, а Агент A - Quantity.

Здесь стоит учесть, что возможно команда только начала работу с отзывами и такое длительное время ответа связано с тем, что менеджеры обрабатывают и старые отзывы, опубликованные ранее. В связи с чем, средняя скорость ответа увеличивается.

Таким образом, для выполнения обще поставленного KPI команды, важно исследовать и улучшать работу каждого. Делиться опытом и лучшими кейсами важно и внутри команды, а фича Agent Performance поможет определить, чья тактика является самой эффективной.

Итак, мы разобрали множество кейсов и тактик по работе с отзывами в мобильных магазинах. Каждый день что-то меняется (например, очень ждем скорого разделения рейтинга в Google Play по странам), появляются новые инсайты и лучшие тактики. 

В рамках академии, мы разобрали, что:

  • средний рейтинг приложения оказывает существенное влияние на общий перформанс приложений в сторе и работа по его улучшению должна продолжаться постоянно,
  • многие метрики (Av. Rating by reviews, Reply Effect и тд) могут стать промежуточными показателями и KPI при работе с отзывами и помочь сосредоточить силы на показателях критичных для продукта в определенный момент его развития,
  • автоматизация работы с отзывами может существенно сократить нагрузку команды поддержки и повысить ее эффективность, и как результат, снизить траты,
  • есть целый ряд методов и методик по работе с критичными, негативными, зафичереными, мультиязычными и положительными отзывами, и практически для любой ситуации есть оптимальный ответ со стороны разработчика/издателя который значительно улучшит шансы на позитивный тренд рейтинга продукта.

Работа с отзывами - полноценная часть цикла работы с приложениями, да и в целом с любыми продуктами. Ведь именно отзывы расскажут о проблемах и вопросах, дадут понимание о портрете вашего пользователя, и конечно же подскажут вам дальнейший путь развития для продукта. Работайте с фидбеком, а мы предоставим вам удобные инструменты которые помогут это сделать быстро, эффективно и максимально комфортно.

Желаем вам успехов в развитии,
Ваша команда AppFollow.

Посмотрите другие публикации:

Работа с отзывами: на что влияет средний рейтинг приложения приложения?

Работа с отзывами: на что влияет средний рейтинг приложения приложения?

Как эффективно работать с отзывами в мобильных сторах и как повысить рейтинг своего приложения? Проч...

Анна Кочеткова
Анна Кочеткова
“Пятничный апдейт” или как оперативно работать со спайками отзывов

“Пятничный апдейт” или как оперативно работать со спайками отзывов

Незапланированный наплыв отзывов - довольно частый кейс. В эти дни команда поддержки может быть силь...

Анна Кочеткова
Анна Кочеткова
Автоматизация сбора инсайтов через отзывы: семантический анализ и авто-тегирование

Автоматизация сбора инсайтов через отзывы: семантический анализ и авто-тегирование

Анализ отзывов - одна из важнейших задач команды поддержки, ведь именно фидбек пользователей вашего ...

Анна Кочеткова
Анна Кочеткова
Автоматизация ответов на отзывы: основные приемы и лучшие практики

Автоматизация ответов на отзывы: основные приемы и лучшие практики

В работе с отзывами автоматизация занимает большое место - снижение затрат, сокращение времени обраб...

Анна Кочеткова
Анна Кочеткова
subscribe success
subscribe fail

Следите за приложениями с помощью AppFollow