Почему AI не выдумывает оценки как речевая аналитика проверяет каждый пункт чек-листа по правилам компании
Разберемся, как это происходит, на примерах из практики Re:call.
AI не оценивает разговор по общему впечатлению
Представим, что руководитель просит нового сотрудника прослушать звонок и оценить, насколько хорошо менеджер выявил потребность клиента. Первый же вопрос: а что считать хорошим выявлением потребности? Для одного руководителя достаточно выяснить, какой товар интересует клиента. Для другого важно узнать бюджет, сроки покупки, требования к характеристикам и предыдущий опыт.Один и тот же разговор получит разные оценки. Не потому, что кто-то ошибся, а потому, что люди опираются на разные представления о правильной работе.С нейросетью происходит то же самое. Если попросить ее оценить качество разговора, не объяснив требования компании, ей придется додумывать задачу самостоятельно. Поэтому в речевой аналитике работают чек-листы с заранее описанными правилами.
Например, компания установила, что менеджер должен выяснить не только интересующий товар, но и основные требования клиента. Теперь AI проверяет вполне конкретные вещи: какие вопросы прозвучали, что ответил клиент и удалось ли получить нужную информацию.
Главная мысль
AI не решает, понравился ли ему менеджер, он проверяет, выполнил ли сотрудник требования компании. Именно методология клиента определяет, что считается правильным действием, а что ошибкой.
Как AI проверяет один пункт чек-листа
Возьмем пример из практики настройки аналитики для компаний, которые продают входные двери. При подборе двери важно не только узнать размеры проема, но и разобраться в пожеланиях покупателя, а конкретный набор обязательных вопросов задают стандарты компании.Рассмотрим типичный разговор. Клиент говорит: "Добрый день, мне нужна входная дверь в квартиру". Менеджер отвечает: "Здравствуйте! Какой у вас размер проема?". Клиент называет размеры, а менеджер предлагает несколько моделей и рассказывает об их преимуществах.На первый взгляд все неплохо: сотрудник вежлив, уточнил важную информацию и предложил товар. Но в чек-листе компании может быть прописано, что менеджер должен выяснить размер проема, бюджет и требования к шумоизоляции. В нашем примере прозвучал только размер.
- Определяет, что произошло в разговоре: клиент обратился за входной дверью, менеджер уточнил размер проема и предложил модели, бюджет и шумоизоляцию не обсуждали.
- Сопоставляет эти факты с правилами чек-листа: для выполнения критерия нужны все перечисленные характеристики, значит, требование выполнено не полностью.
- Выставляет оценку и объясняет ее.
Пример
Критерий "выявление потребности", объяснение "менеджер уточнил размер проема, но не выяснил бюджет и требования к шумоизоляции, предусмотренные чек-листом", оценка 0 баллов.
А если руководитель сомневается в выводе, он открывает транскрибацию или запись и проверяет, действительно ли менеджер пропустил нужные вопросы.
Почему AI не ставит ноль за каждый пропущенный вопрос
Теперь отрасль, где клиент часто звонит с готовым запросом, – автосервис. "Мне нужно поменять тормозные колодки. Передние, на Kia Rio", говорит клиент, и консультант уточняет детали, сообщает стоимость и предлагает время визита. В чек-листе при этом есть пункт "Выяснение пожеланий по работам", а такого вопроса консультант не задал. Получается, ноль?Не обязательно. Клиент ведь сам рассказал, что ему требуется. При настройке сервисных чек-листов такие ситуации описывают отдельно: если нужная информация уже прозвучала и по методологии повторный вопрос не нужен, его отсутствие ошибкой не считается. Но когда консультант обязан уточнить дополнительные пожелания, Re:call проверит, сделал ли он это.
Типичная ошибка
Механически искать в разговоре заданные вопросы и фразы. Если клиент не высказал возражений, отрабатывать было нечего, и ноль за работу с возражениями ничего не измерит. То же с продолжительностью обслуживания, когда клиент просто узнавал стоимость ремонта.
Критерий не выполнен
Менеджер должен был что-то сделать в этом разговоре, но не сделал.
Критерий неприменим
В разговоре не возникло ситуации, в которой это действие требовалось.
Почему правильные слова еще не означают правильный ответ
Еще одна показательная ситуация встречается в сфере банкротства физических лиц, с которой мы тоже работаем. Один из типичных вопросов на консультации – сохранность квартиры.Клиент спрашивает: "А квартиру у меня не заберут?". Менеджер отвечает: "Не переживайте, все будет хорошо".Формально сотрудник вопрос не проигнорировал: он ответил и попытался успокоить клиента. Но можно ли считать, что опасение отработано? Если по стандартам компании менеджер должен объяснить условия процедуры, возможные риски и ответить на конкретный вопрос, одного успокаивающего ответа мало.
Наличие ответа еще не означает, что требование выполнено.
А если в разговоре вообще нет нужной информации?
Есть еще одна важная особенность: AI не должен превращать предположения в факты. Допустим, клиент говорит: "Я, наверное, на следующей неделе к вам подъеду", а менеджер отвечает: "Хорошо, будем ждать". Записался ли клиент на визит? Нет, он сообщил о намерении приехать, фактическая запись в разговоре не подтверждена.Другой случай. Менеджер обещает: "Я уточню информацию и завтра вам перезвоню". По звонку видно, что обещание прозвучало, но выполнил ли он его, из одного разговора не узнать – для этого нужна информация о следующем звонке.
Важно
Если данных недостаточно, система должна это отразить, а не домысливать события. Не прозвучало согласование встречи – встреча не считается назначенной. Клиент не назвал причину отказа – нельзя утверждать, что он ушел из-за высокой цены.
Почему недостаточно просто загрузить чек-лист в AI
Казалось бы, все просто: компания составляет список требований, передает его нейросети и получает готовые оценки. Но на практике вопросы вызывают даже привычные критерии.Возьмем работу с возражениями. Клиент говорит: "Дороговато, мне нужно подумать". Что должен сделать менеджер – выяснить причину сомнения, рассказать о преимуществах предложения или предложить альтернативу? И что считать успешной отработкой, сам ответ или конкретные действия? Ответы зависят от того, как в компании принято работать с клиентами.Поэтому настройка чек-листа начинается с методологии клиента: какие стандарты приняты в компании, какие действия обязательны, что считается хорошим результатом и какие исключения нужно учитывать. Специалисты Re:call превращают эти требования в четкие правила проверки. Иногда по ходу выясняется, что доработать стоит и сам чек-лист:
- один пункт допускает разные трактовки;
- другой объединяет сразу несколько действий;
- третий требует информации, которой в записи разговора нет.
Разбираться в устройстве нейросетей клиенту при этом не нужно: достаточно объяснить, как построена работа с клиентами и по каким правилам компания хочет оценивать сотрудников.
Как убедиться, что AI правильно применяет правила
Даже хорошо составленный чек-лист проверяют на практике. Перед запуском аналитики специалисты Re:call тестируют настройки на реальных разговорах компании, причем интереснее не очевидные случаи, а спорные: клиент сам рассказал о своих потребностях, выразил сомнение, но не отказался от покупки, согласился подумать о встрече, но так и не записался.Дальше работа идет по кругу: Re:call анализирует звонки, специалисты читают объяснения и оценки, при необходимости правят правила и проверяют результат повторно. Так руководитель получает оценки, на которые можно опираться в работе.
Что это дает руководителю
Представим, что по итогам недели у трех менеджеров снизилась оценка за выявление потребности. Если смотреть только на баллы, вывод напрашивается простой: сотрудники плохо задают вопросы. Но объяснения показывают разную картину.| Менеджер | |
|---|---|
| Первый | Почти сразу переходит к презентации товара |
| Второй | Выясняет первоначальный запрос, но не уточняет важные детали |
| Третий | Задает вопросы, но пропускает информацию, обязательную по стандартам |
