Правила проверки звонков¶
Проверка звонка оценивает, как менеджер провёл разговор, по шести этапам: приветствие, выявление потребности, презентация, работа с возражениями, закрытие и следующий шаг. При проверке языковой моделью входящие звонки оцениваются по чек-листам отдела. Результат это этапы, возражения клиента, причина отказа и оценка от 0 до 100. Страница написана для владельца, а что из этого доступно руководителю отдела, указано в таблицах. Как считается оценка, описано на странице Оценка звонка.
Где это находится¶
Вкладка «Настройки» → «Проверка звонков». Сверху вниз на ней идут карточки:
| Карточка | Для чего | Кто видит |
|---|---|---|
| «Проверка звонков» | Переключатель, кто проверяет, дневной бюджет модели, счётчики | Владелец |
| «Правила проверки» | Правила по отделам: просмотр, правка, включение отдела, загрузка файлов | Владелец и руководитель |
| «Перепроверка звонков» | Проверить уже проверенные звонки заново (только при проверке моделью) | Владелец и руководитель |
| «Можно ли верить проверке» | Сколько отметок людей совпало с программой | Владелец и руководитель |
| «Рубрика» | Этапы и фразы (только при проверке по словарям) | Владелец правит, руководитель смотрит |
| «Словари» | Возражения, недовольство клиента, причины отказа | Владелец и руководитель |
| «Сигналы в разговоре» | Мат и просьба позвать руководство | Владелец, см. Сигналы в разговоре |
Включить проверку¶
- В карточке «Проверка звонков» включите «Проверять звонки». По умолчанию выключено. Новые расшифровки проверяются сразу, готовые по очереди и понемногу. Этот переключатель включает и Автоматический режим.
- Посмотрите, «Кто проверяет». Если карточка сообщает, что проверка не настроена на сервере, способ проверки выбирает администратор, а переключатель недоступен.
- Если проверяет языковая модель, включите нужные отделы в карточке «Правила проверки» (переключатель «Проверять звонки отдела») и задайте дневной бюджет. Без этого звонки модели не отправляются.
Кто проверяет¶
Способ проверки задаётся при установке на сервере (переменная ANALYSIS_PROVIDER), из интерфейса его не переключить.
| В карточке | Что значит | Текст звонков уходит с сервера |
|---|---|---|
| «Словари фраз» | Программа ищет фразы из рубрики и словарей. Это первая оценка, а не основание для премии или увольнения | Нет |
| «Языковая модель» | Звонок проверяет модель по правилам отдела: критерии, веса, примеры. Баллы считает программа, модель отвечает по каждому критерию и приводит цитату | Да, внешней модели |
| «Тестовые оценки» | Придуманные оценки для проверки экрана | Нет |
| «Проверка не настроена» | На сервере способ не выбран | Нет |
Внимание
При проверке языковой моделью текст звонков уходит за пределы сервера. Из него скрываются номера телефонов и адреса
почты, а имён менеджеров, клиентов и сделок в запросе нет, но имена, прозвучавшие в разговоре, остаются. Отправку
администратор разрешает отдельной переменной ANALYSIS_ALLOW_EXTERNAL_EGRESS, см.
Персональные данные и хранение.
Дневной бюджет модели¶
Поле «Бюджет на сутки, токенов» ограничивает расход модели. Пока бюджет равен нулю, звонки ей не отправляются. Под полем написано, на сколько звонков в сутки хватит бюджета, исходя из примерно 4000 токенов на звонок, а под ним, сколько потрачено за последние 24 часа. Максимум миллиард токенов.
Когда проверка включена, но её что-то держит, над счётчиками стоит предупреждение:
| Предупреждение | Что сделать |
|---|---|
| «Проверка не идёт: дневной бюджет равен нулю» | Задайте бюджет |
| «Дневной бюджет израсходован» | Подождать: проверка продолжится, когда расход за 24 часа станет меньше бюджета, или увеличить бюджет |
| «Не включён ни один отдел» | Включите проверку отдела в карточке «Правила проверки» |
Строка «Модель» показывает название модели и состояние: «На связи», «Нет связи с моделью», «На счёте модели закончились деньги», «Ключ доступа к модели не подходит» или «Модель просит подождать». Если проверка остановлена, сказано «Проверка стоит до {время}».
Как идёт проверка¶
| Счётчик | Что значит |
|---|---|
| «Проверено» | Звонки с актуальной проверкой |
| «Ждут проверки» | Расшифрованные звонки, которые ещё не проверены |
| «Надо перепроверить» | При проверке по словарям: проверка сделана до изменения рубрики или словарей. При проверке моделью: проверка сделана другим способом, например по словарям до подключения модели. Такие звонки платформа перепроверяет сама, понемногу |
| «Слишком короткие» | Звонки без оценки: слишком короткие (короче минимальной длины или меньше 25 слов), без разговора, не продажные, без подходящих правил или не поддавшиеся проверке. Название уже, чем состав |
Правила отдела¶
Карточка «Правила проверки» показывает «Общие правила» и «Правила отдела «{название}»». У набора видны версия, версия файла, дата загрузки и рубрики с числом включённых критериев. Выключатель «Проверять звонки отдела» включает проверку отдела, по умолчанию он выключен. Отдел включается только после того, как загружены общие правила и правила этого отдела. Поле «Проверять звонки начиная с» ограничивает давность: более ранние звонки не проверяются. При первом включении ставится дата на 30 дней назад.
Вместе с платформой поставляются правила для «Спорт» и «Техника», они загружаются при первом запуске. Для «Розница Спорт» готового набора нет: загрузите файл, см. ниже.
Кто что правит¶
| Что | Владелец | Руководитель своего отдела |
|---|---|---|
| Формулировки критериев, веса, примеры, ответы на возражения, включение и выключение критерия | Да | Да |
| Новый критерий | Да | Да |
| Рубрики: название, воронки, «Считать балл», заметки, «Как читать пункты» | Да | Нет |
| Маршрутизация звонков по рубрикам и определения классов входящего звонка | Да | Определения и выбор рубрики |
| Общие правила | Да | Только смотреть |
| Включение отдела, «Проверять звонки начиная с», загрузка файлов | Да | Нет |
Опубликованный критерий нельзя удалить, его можно выключить. Рубрики и маршруты добавляются и убираются только загрузкой файла, а направление рубрики не меняется.
Изменить правила¶
- В карточке «Правила проверки» нажмите «Изменить правила» у нужного отдела. Откроется страница «Правила отдела «{название}»».
- Выберите раздел «Исходящие» или «Входящие». У входящих есть ещё блоки «Какие звонки как проверяются» и «Как делить входящие звонки».
- Раскройте критерий и поправьте условия «Выполнено, если», «Частично, если», «Не выполнено, если», «Не нужно, если» и вес. Вес от 0 до 10: ноль значит, что пункт проверяется, но в балл не входит. В «Дополнительно» лежат инструкция для модели, определение, подсказки, хорошие и плохие примеры, ответы на возражения.
- Правки сохраняются в черновик сами, через доли секунды: рядом пишется «Черновик сохранён {время}». Пока черновик не опубликован, на проверку он не влияет. Пока в полях недопустимые значения, он не сохраняется.
- Раскройте «Что проверить перед публикацией»: ошибки не дают опубликовать, предупреждения не мешают. Там же оценка расхода: «Один звонок отправляется модели примерно в {N} токенов».
- Нажмите «Опубликовать…», проверьте список изменений, коротко напишите «Что вы изменили» (до 300 символов) и нажмите «Опубликовать». Появится новая версия.
- Чтобы отменить правки, выберите «Ещё» → «Отбросить черновик»: действующие правила не изменятся.
Если пока вы правили, вышла новая версия правил, черновик устарел: его нельзя опубликовать, отбросьте его и начните заново. Если черновик изменил кто-то другой, страница предложит «Загрузить заново».
Примечание
После публикации старые звонки сами не перепроверяются. Новые правила действуют на новые проверки, а старые звонки перепроверьте в карточке «Перепроверка звонков».
Попробовать на звонках¶
Внизу страницы правил найдите блок «Попробовать на звонках», выберите рубрику и нажмите «Попробовать». Черновик применяется к нескольким недавним звонкам отдела (не больше пяти), а результат показан рядом с прежней оценкой: «Было {X} → стало {Y}» и список изменившихся критериев. Ничего не публикуется и не пересчитывается.
Проба расходует токены дневного бюджета. Для неё нужны сохранённый черновик без ошибок, настроенная модель и бюджет больше нуля с остатком. Если после пробы черновик менялся, появится пометка, что результат относится к более ранней редакции.
История версий, возврат и скачивание¶
Раздел «История» показывает версии от новых к старым: номер, источник («Загружена из файла», «Правка», «Возврат к версии N»), дату, автора и что изменилось. Версии не удаляются.
- «Что изменилось» сравнивает версию с предыдущей.
- «Скачать JSON» скачивает файл версии. Если загрузить скачанный файл обратно без правок, новая версия не появится.
- «Вернуть эту версию» создаёт новую версию с теми же правилами. Старые версии остаются в истории, а черновик устаревает.
Загрузить файлы правил¶
Это редкое действие владельца. В карточке «Правила проверки» нажмите «Дополнительно» → «Загрузить файлы правил» и выберите до шести файлов JSON: общие правила, правила отдела (для них выберите «Для какого отдела») и схему ответа, которая только проверяется. Загрузятся либо все файлы, либо ни одного, а каждая ошибка названа по месту в файле. Итог по каждому файлу: «Создан набор правил, версия N», «Новая версия N», «Без изменений, версия N» или «Проверен и пропущен». Загрузка ничего не включает: проверку отдела включите отдельно.
Считать оценку сверенной¶
Пока оценки не сверены с людьми, они считаются черновыми, а у отдела стоит «Черновая оценка».
- Разметьте звонки отдела, см. «Можно ли верить проверке» ниже. Нужно не меньше 20 сравнённых звонков, иначе платформа ответит, что размеченных звонков мало, и предложит перейти «К разметке».
- В строке отдела нажмите «Считать сверенной». Отметка получит дату и числа «Сверено звонков: N, совпадение по баллу: X».
- Чтобы вернуть черновой статус, нажмите «Снять отметку».
Входящие чек-листы сверяются отдельной отметкой, если у отдела есть оцениваемый чек-лист. Отметка действует на проверки, сделанные после неё. У звонков, проверенных раньше, пометка «черновая» остаётся, пока их не перепроверят.
Почему часть звонков не проверяется¶
В карточке «Проверка звонков» блок «Как идёт проверка» показывает проверенные звонки и те, что ждут очереди. Но модель получает не все расшифрованные звонки, поэтому при пустой очереди расход токенов может быть небольшим. Ниже блока «Расшифрованы, но не проверяются» перечислены причины:
| Причина | Что сделать |
|---|---|
| Менеджер не отнесён ни к одному отделу | Назначьте менеджера в отдел: «Настройки → Люди → Отделы» |
| У отдела нет включённых правил | Включите правила отдела в строке отдела в карточке правил |
| Записаны раньше даты начала проверки | Поставьте более раннюю дату в поле «Проверять звонки начиная с» у отдела. Звонки встанут в очередь и будут проверяться в пределах дневного бюджета |
| Неизвестно, входящий звонок или исходящий | Звонок остаётся без проверки: правила подбираются по направлению |
При включении проверки отдела дата начала по умолчанию ставится на 30 дней назад от этого дня и дальше не двигается, поэтому более ранние звонки сами не проверяются. Страница «Связь с продажами» берёт только сделки с проверенным разговором, и пока ранняя история не проверена, их может не хватать для вывода.
Перепроверка звонков¶
Новые правила проверяют только новые звонки. Чтобы проверить прошлые по действующим правилам:
- Выберите «Отдел» (если их несколько) и период: 7, 14 или 30 дней.
- Прочитайте оценку: сколько звонков к перепроверке, сколько токенов и примерно сколько дней уйдёт.
- Нажмите «Перепроверить» и подтвердите.
Пока новая проверка не готова, у звонка остаётся старая. Список «Перепроверки» показывает ход: проверено, осталось, не удалось, потрачено токенов. «Остановить» прекращает перепроверку: уже проверенные звонки сохраняют новую проверку. Перепроверка идёт после новых звонков и тратит не больше половины дневного бюджета. Если за время перепроверки правила или модель изменились, она останавливается со статусом «Остановлена: правила изменились».
Словари¶
Карточка «Словари» хранит три вида записей: «Возражения», «Недовольство клиента» и «Причины отказа». Проверка находит их в разговоре, и по ним строятся отчёты Отказы и возражения.
| Действие | Как |
|---|---|
| Добавить | «Добавить» → «Название», «Фразы» (по одной в строке; «дорог*» подходит к «дорого», «дорогой») и для причин отказа поле «Какой это отказ в воронке» |
| Изменить | «Изменить» в строке записи |
| Убрать | «Скрыть»: записи не удаляются, а старые цифры сохраняют смысл. «Вернуть» возвращает запись |
Фраза должна быть от 2 до 80 символов, в записи не больше 80 фраз. Владелец выбирает, «Для кого» запись: для всех отделов или для одного. Руководитель ведёт записи своего отдела, общие записи меняет только владелец. При проверке моделью ей передаются названия записей, а фразы нужны проверке по словарям.
Рубрика¶
Карточка «Рубрика» видна при проверке по словарям. Для каждого из шести этапов она задаёт «Вес этапа», «Где искать фразы» («В начале разговора», «В конце разговора», «В любом месте»), «Фразы» и пороги «Выполнен, если найдено фраз» и «Частично, если найдено фраз». Рубрику можно задать для всех отделов или отдельно для одного: в списке «Для кого» выберите «Для всех отделов» или отдел. «Сохранить новую версию» создаёт версию, и все звонки перепроверяются сами, понемногу. Сумма весов показана под этапами. Руководитель видит рубрику без правки.
Можно ли верить проверке¶
Руководители отмечают этапы или пункты чек-листа в звонках, а платформа сравнивает отметки с ответом программы.
- В карточке «Можно ли верить проверке» нажмите «Размечать звонки». Откроется страница «Разметка звонков».
- Послушайте звонок. Ответ программы скрыт, чтобы не подсказывать.
- Для исходящего звонка выберите для каждого этапа «Сделано», «Частично», «Пропущено» или «Не нужно». Для входящего сначала выберите тип обращения и, для целевого, кто покупает, затем отметьте пункты чек-листа.
- Нажмите «Сохранить и дальше». «Назад» исправляет предыдущий звонок, «Пропустить» просит другой.
В карточке видны «Отмечено вами», «Отмечено всего» и «Сравнено с программой». Цифры по этапам: «Совпало» (доля одинаковых ответов), «Согласие» (от нуля: 0 означает, что программа угадывала, 1 полное совпадение; уровни от «слабое» до «очень хорошее») и «Нужен ли этап». «Баллы за разговор» показывают корреляцию баллов человека и программы. Цифры не показываются, пока не сравнено 20 звонков, а согласие считается от 10 пар. Руководитель размечает и видит звонки своего отдела.
Как это считается¶
- Бюджет. Расход это токены модели за последние 24 часа, а не за календарные сутки. Оценка «звонков в сутки» делит бюджет на примерно 4000 токенов на звонок.
- Оценка перепроверки. Токены на звонок берутся как среднее по недавним проверкам отдела, а пока их мало, из типичного значения. Перепроверка использует не больше половины бюджета.
- Окно проверки. Проверяются звонки отдела не старше даты «Проверять звонки начиная с».
- Проба. До пяти недавних звонков отдела подходящего направления.
- Сверка. Минимум 20 сравнённых звонков для любых цифр, 10 пар для согласия.