Перейти к содержанию

Оценка звонка

Оценка звонка это число от 0 до 100: какую долю того, что нужно было сделать в разговоре, менеджер сделал. В интерфейсе её же называют «баллом». Страница объясняет, откуда берётся число, что в нём учитывается и почему у некоторых звонков оценки нет. Она нужна руководителям, которые разбирают звонки, и менеджерам, которые хотят понять свою оценку.

Оценка это подсказка, какой звонок стоит послушать, а не основание для премии или увольнения.

Коротко

  • Звонок проверяется по рубрике: списку критериев («поздоровался и представился», «выяснил потребность» и так далее). По каждому критерию проверка отвечает: выполнено, частично, не выполнено или не нужно, и показывает цитату из разговора, на которой основан ответ.
  • Итоговое число считает не модель, а платформа: по ответам и по весам критериев, по формуле ниже.
  • У исходящего звонка рубрика обычно состоит из шести критериев, по одному на этап продажи. У входящего это чек-лист: вопросы, которые менеджер должен был задать клиенту.
  • Цвет оценки: от 75 зелёный, от 50 до 74 жёлтый, ниже 50 красный. Звонки с оценкой ниже 50 попадают в «Стоит послушать».

Кто проверяет

Режим проверки выбирает тот, кто ведёт сервер. Какой режим включён, видно в углу страницы «Качество звонков» и в «Настройки → Проверка звонков», в карточке «Проверка звонков» в строке «Кто проверяет».

Режим Как работает Что важно знать
«Языковая модель» Звонок проверяется по правилам отдела: модель отвечает по каждому критерию и приводит цитаты, а число считает платформа Текст звонка уходит модели за пределы сервера. Номера телефонов и адреса почты в нём скрываются, имён менеджеров, клиентов и сделок в запросе нет, а имена, прозвучавшие в самом разговоре, остаются. Расход ограничен дневным бюджетом
«Словари фраз» Программа на сервере ищет в расшифровке фразы каждого этапа Тексты никуда не уходят, но проверка грубая: оценка всегда «предварительная». Входящие звонки проверяются теми же шестью этапами, что исходящие
«Тестовые оценки» Оценки придуманы для проверки экрана Ничего не значат
«Проверка не настроена» Звонки не проверяются Оценок нет

Дальше страница описывает проверку языковой моделью: по ней работают правила отделов, чек-листы входящих звонков и перепроверка. О режиме словарей сказано в конце.

Правила проверки

Правила хранятся в двух наборах.

  • Общие правила, одни на все отделы: инструкции для модели, определения того, с кем говорил менеджер (с ЛПР, с секретарём, не ясно) и какова цель звонка (пройти секретаря, первый разговор с ЛПР, повторный контакт, технический звонок, другая цель), когда звонок не оценивается, минимальная длина разговора.
  • Правила отдела: рубрики с критериями, их весами, условиями «не нужно» и примерами; маршрутизация (какая рубрика к какому звонку); определения типов входящих обращений.

Вместе с системой поставляются такие наборы:

Набор Что в нём
Общие правила Инструкции для модели, определения собеседника и цели звонка, минимальная длина разговора (в поставляемых правилах 20 секунд)
«Спорт» Рубрика исходящего звонка с шестью критериями и три чек-листа входящих: для команд и организаций, для дилеров и партнёров (перепродажа), для розницы (перевод в отдел розницы)
«Техника» Рубрика исходящего звонка с шестью критериями. Входящие звонки отдела не проверяются

Для другого отдела правила загружает владелец; пока их нет или проверка отдела не включена, звонки этого отдела не проверяются. Менять правила можно в «Настройки → Проверка звонков»: владелец меняет всё, руководитель формулировки критериев, веса и примеры своего отдела. Подробнее: Правила проверки звонков.

Правки сначала лежат в черновике и ничего не меняют. Кнопка «Опубликовать…» делает из черновика новую версию правил, старые версии остаются, и к любой можно вернуться. Версии, по которым проверен звонок, написаны в карточке звонка внизу блока оценки.

Исходящий звонок: как складывается оценка

Рубрика исходящего звонка содержит критерии. В поставляемых правилах их шесть, по одному на этап: «Приветствие», «Выявление потребности», «Презентация», «Работа с возражениями», «Закрытие», «Следующий шаг». По ним строятся этапы в отчёте Качество звонков.

Ответы по критериям

Ответ Сколько веса критерия получает звонок Как это видно в отчёте об этапах
«Выполнено» весь вес «Выполнен»
«Частично» половину веса «Частично»
«Не выполнено» ноль «Пропущен»
«Не нужно» критерий не входит в расчёт не считается
«Не подтверждено» критерий не входит в расчёт не считается

«Не нужно» ставится, когда критерий к такому разговору не относится: выполнено условие «не нужно, если…» из правил (например, клиент не возражал), клиент прервал разговор, речь не удалось разобрать или критерий не относится к цели этого звонка (в правилах критерию можно указать, к каким целям он относится). Без такого основания «не нужно» засчитывается как «не выполнено».

Цитаты и «Не подтверждено»

Чтобы поставить «Выполнено» или «Частично», модель должна показать цитату из разговора. Платформа ищет её в расшифровке: слово в слово или хотя бы 80 % слов в том же порядке, в пределах 15 секунд от названного времени. Если цитаты нет, платформа один раз просит модель уточнить ответ. Если и после этого цитата не найдена, ответ превращается в «Не подтверждено»: критерий не входит в оценку и никогда не засчитывается как «частично». Ответ «Не выполнено» цитаты не требует.

Формула

оценка = 100 × сумма(вес × доля) ÷ сумма весов учтённых критериев

Доля это 1 для «Выполнено», 0,5 для «Частично», 0 для «Не выполнено». Результат округляется до целого, половина округляется вверх. Вес критерия это число от 0 до 10 в правилах отдела. Критерий с весом 0 проверяется и показывается в карточке звонка, но в оценку не входит.

Пример. Три критерия: A (вес 2) выполнен, B (вес 1) выполнен частично, C (вес 1) не выполнен. Заработано 2 × 1 + 1 × 0,5 + 1 × 0 = 2,5 из 4 возможных, оценка 62,5, округляется до 63. Если бы C был «Не нужно», считали бы 2,5 из 3 и получили бы 83.

Какой критерий «слабее всего»

В карточке звонка у критерия, который больше всего снизил оценку (вес умножается на недобор), стоит пометка «Слабее всего».

Входящий звонок: чек-лист

У входящего звонка нет шести этапов. Если правила отдела различают типы обращений (так устроены правила «Спорта»), проверка идёт в два шага.

  1. Модель определяет, был ли это разговор, и тип обращения: «Целевое обращение», «Нецелевое обращение», «Розница» или «Сервис» (вопрос по уже оформленному заказу). У целевых ещё тип заявки («Горячая заявка», «Тёплая заявка», «Повторное обращение») и кто покупает («Команда или организация», «Дилер», «Сегмент не определён»).
  2. По типу правила отдела выбирают чек-лист: набор пунктов, которые менеджер должен был выяснить у клиента. Каждый пункт получает тот же ответ, что и критерий: выполнен, частично, не выполнен, не нужен. Оценка это взвешенная доля закрытых пунктов, считается по той же формуле.

Нецелевые обращения и вопросы по заказу в поставляемых правилах «Спорта» не оцениваются, а учитываются только в статистике входящих. Входящие звонки «Техники» по её правилам не проверяются вовсе.

Оценка по чек-листу и оценка по этапам это разные величины. В списке «Звонки» оценка по чек-листу выделена контуром, а при наведении видна подсказка «Оценка по чек-листу: входящий звонок оценивается по пунктам, а не по этапам». В отчётах они не усредняются вместе: чек-листы показаны отдельным блоком в Качестве звонков.

Такой входящий звонок обходится дороже исходящего: на него приходятся два запроса к модели, определение типа и проверка по чек-листу.

Когда оценки нет

Оценки может не быть по трём группам причин.

Звонок не проверялся

В столбце «Оценка» списка «Звонки» у такого звонка прочерк, в карточке написано «Звонок ещё не проверен». Так бывает, если:

  • у звонка не определён отдел;
  • проверка звонков в целом выключена или не включена проверка этого отдела;
  • у отдела нет общих правил или правил отдела;
  • звонок старше даты «Проверять звонки начиная с» (если дата не задана, проверяются звонки за последние 30 дней);
  • расшифровка ещё не готова;
  • дневной бюджет модели равен нулю или исчерпан: звонок ждёт, пока бюджет освободится.

Звонок отложен, оценка не ставится

Звонок проверен, но признан непригодным для оценки. В карточке звонка написана причина.

Причина Что написано в карточке Когда бывает
Слишком короткий «Разговор слишком короткий, чтобы его оценивать» В расшифровке меньше 25 слов или запись короче минимума из общих правил (в поставляемых правилах 20 секунд). Модель не вызывается
Нет рубрики «В правилах отдела нет проверки для такого звонка, поэтому он не оценён» или уточнение: «Для входящих звонков этого отдела проверка не предусмотрена», «Неизвестно, входящий это звонок или исходящий…», «Для такого входящего обращения в правилах отдела нет чек-листа…» Правила отдела не предусматривают проверки такого звонка
Разговора не было «Разговора не было: никто не ответил, включился автоответчик или связь оборвалась. Оценивать нечего» Модель решила, что живого разговора нет
Не продажный разговор «Это не продажный разговор, поэтому оценка не ставится»; для входящих «Это нецелевое обращение…» или «Это вопрос по уже оформленному заказу…» Ошибка номера, личный или внутренний звонок, нецелевое обращение
Не удалось разобрать «Этот звонок не удалось оценить автоматически. Послушайте его сами» Несколько попыток подряд закончились ответом, который нельзя принять. У звонка, у которого уже была проверка, остаётся прежняя

Звонок проверен, но числа нет

  • Технический звонок. Модель определила цель «технический звонок»: например, действующий клиент уточняет заказ. Критерии показаны «для справки», но балла нет, и в статистику этапов звонок не входит.
  • Баллы отключены. Для отдела выключено «Показывать оценку звонков» («Настройки → Люди → Отделы») или в рубрике выключено «Считать балл». В первом случае оценка считается, но не показывается.
  • Мало критериев. Для оценки нужно не меньше двух учтённых критериев с весом выше нуля.
  • Подозрение на указания в тексте. В расшифровке есть фразы вроде «поставь максимальную оценку», похожие на указания модели. Такой звонок остаётся без оценки, его стоит послушать.

В отчётах такие звонки видны отдельно: «Технические звонки», «Не оценивались», «Слишком короткие». Подробнее: Качество звонков.

Где видны критерии в карточке звонка

Блок «Оценка разговора» в карточке звонка показывает:

  • круг с оценкой и строку «Выполнено критериев: N из M» (для чек-листа «Выполнено пунктов»);
  • отметку «Черновая оценка», если оценки этого вида звонков ещё не сверены с людьми;
  • краткое резюме «Коротко о разговоре», с кем говорили и какая цель звонка, «Главная ошибка» и «Что получилось»;
  • список критериев: ответ по каждому, комментарий, пометка «Слабее всего» и кнопки времени, которые переводят запись к цитате; «Цитаты нет в тексте» там, где модель назвала фразу, которой в расшифровке нет;
  • «Не относится к звонку: N», раскрывающий критерии со значением «Не нужно» и причиной;
  • найденные возражения, недовольство клиента и причину отказа в разговоре;
  • внизу название рубрики или чек-листа и версии правил, по которым звонок проверен.

Технические данные (модель, расход токенов, служебные пометки) видит только владелец.

Черновая оценка и «Можно ли верить проверке»

Пока оценки не сверены с отметками людей, они помечены «Черновая оценка»: они помогают выбрать, что послушать, но не основание для решений о людях. Сверка делается так. Владелец или руководитель в разделе «Разметка звонков» слушает случайный звонок отдела и отмечает этапы (у входящего: тип обращения и пункты чек-листа), а ответ программы скрыт, чтобы не подсказывать. Платформа сравнивает отметки с ответами программы.

Карточка «Можно ли верить проверке» в «Настройки → Проверка звонков» показывает результат: «Совпало» (доля одинаковых ответов), «Согласие» (число от 0 до 1 и слово: слабое, небольшое, умеренное, хорошее, очень хорошее), «Нужен ли этап» и совпадение баллов человека и программы. Цифры появляются, когда сравнено не меньше 20 звонков, а для «Согласия» нужно ещё, чтобы этап был нужен и человеку, и программе не меньше чем в 10 из них. Когда совпадение достаточное, владелец или руководитель отдела нажимает в правилах отдела «Считать сверенной»: отметка «Черновая оценка» исчезает (отдельно для исходящих и входящих).

Что меняет оценку

  • Новая версия правил действует на новые звонки. Звонок, у которого есть проверка по текущей расшифровке, при публикации правил сам не пересчитывается.
  • Перепроверка. Чтобы пересчитать уже проверенные звонки, владелец или руководитель запускает «Перепроверку звонков» в «Настройки → Проверка звонков»: выбирает отдел и период (не больше 30 дней) и видит оценку числа звонков, токенов и дней. Перепроверка идёт в фоне: сначала самые свежие звонки периода, не больше 20 за раз. Новые звонки всегда проверяются раньше, а перепроверка тратит не больше половины дневного бюджета. Пока новая проверка не готова, у звонка остаётся старая. Если правила или модель изменились во время перепроверки, она останавливается: расчёт перестал быть верным.
  • Новая расшифровка. Если звонок распознан заново и текст изменился, проверка делается заново сама.
  • Режим словарей. Каждое сохранение рубрики или словаря создаёт новую версию, и все звонки проверяются заново понемногу сами.

Дневной бюджет модели

Расход модели ограничен суточным бюджетом в токенах (грубо: проверка одного звонка это около 4 000 токенов). Бюджет задаётся в «Настройки → Проверка звонков» в карточке «Дневной бюджет модели», там же видно, сколько потрачено за последние 24 часа и на сколько звонков хватит.

  • Бюджет считается скользящим окном в 24 часа, а не календарными сутками. Когда потрачено столько, сколько задано, новые запросы к модели не отправляются.
  • Пока бюджет равен нулю, звонки модели не отправляются совсем. Страница пишет «Проверка не идёт: дневной бюджет равен нулю».
  • Когда бюджет исчерпан, звонки не пропадают и не получают отметку «не оценён»: они ждут. Проверка продолжается сама, когда расход за последние 24 часа станет меньше бюджета. Новые звонки идут первыми, перепроверка получает не больше половины бюджета.
  • Звонки, которым модель не нужна (слишком короткие и те, для которых в правилах нет проверки), записываются без неё.
  • Если модель недоступна (кончились деньги на её счёте, ключ не подходит, она просит подождать или не отвечает), проверка ставится на паузу от 2 до 30 минут и возобновляется сама. Состояние показано в карточке «Модель».

Что уходит модели и как это хранится: Персональные данные и хранение.

Как оценки попадают в отчёты

  • Средний балл это простое среднее оценок проверенных звонков: длинный звонок весит столько же, сколько короткий.
  • Звонок относится к периоду по дате звонка, а не по дате проверки.
  • В среднее входят только звонки с оценкой. Технические звонки, не оценённые и слишком короткие звонки, а также звонки отделов, где баллы отключены, в него не входят.
  • Средний балл менеджера, долю выполнения этапа и долю закрытых пунктов чек-листа показывают, когда набралось не меньше 5 звонков. Раньше написано «мало данных».
  • Оценки исходящих звонков (по этапам) и входящих (по чек-листу) не смешиваются в одном среднем.
  • Изменение среднего балла к прошлому периоду показано в процентах от прежнего значения, а не в баллах.

Режим «Словари фраз»

Когда проверка работает по словарям, каждому из шести этапов рубрики заданы вес (по умолчанию 10, 25, 20, 20, 10 и 15), область поиска (начало разговора, конец или весь разговор) и список фраз. Платформа ищет эти фразы в расшифровке: этап «Выполнен», когда найдено не меньше заданного числа разных фраз, «Частично», когда найдено меньше, но не меньше порога частичного выполнения, иначе «Пропущен». Этап «Работа с возражениями» считается нужным, только если в разговоре найдено возражение из словаря. Оценка считается по той же формуле: выполненный этап идёт целиком, частично выполненный наполовину, этапы, которые не требовались, не учитываются. Звонки короче 25 слов не оцениваются. Рубрика и словари редактируются в «Настройки → Проверка звонков».

См. также