Возьмите один звонок и сравните вывод ИИ с записью: какое правило нарушил сотрудник, где это слышно и что именно сказал клиент. Затем проверьте по той же схеме другие разговоры, причём руководитель сначала оценивает их самостоятельно. Так можно отделить ошибки сервиса от спорных требований к сотрудникам. Ниже — порядок проверки, таблица расхождений и способ решить, какие оценки использовать в работе, а какие пока отправлять на ручной разбор.
Что подготовить перед проверкой ИИ-оценки звонков?
Начните с одного сценария: например, разговора о покупке или обращения в техническую поддержку. Если смешать разные задачи, проверка станет запутанной. В продажах сотрудник выясняет потребность и согласует следующий шаг. В поддержке он уточняет проблему и объясняет, что клиенту делать дальше.
Для проверки нужны запись разговора, его расшифровка, оценка сервиса и правила, по которым сервис выставляет баллы. Сохраните текущие настройки проверки, чтобы во время разбора случайно не сравнить результаты разных версий. Если запись обрывается или в ней слышна только одна сторона, такой звонок сначала требует технической проверки.
Расшифровку тоже стоит проверить отдельно. Пропуск частицы «не» меняет смысл ответа, а ошибка в разделении голосов приписывает слова клиента сотруднику. Порядок такой проверки разобран в статье о том, как проверить точность ИИ-расшифровки звонков. Иначе придётся исправлять правило оценки, хотя причина находится в распознавании речи.
Выбирайте разговоры с разными условиями: где клиент согласился с предложением, отказался, перебивал или задавал вопрос за пределами обычного сценария. Добавьте звонки, по которым у руководителя уже есть сомнения. Такая подборка помогает найти слабые места, но сама по себе ещё не показывает, как часто сервис ошибается во всём потоке.
Как сделать критерии понятными для ИИ и руководителя?
Перепишите каждое требование так, чтобы его можно было проверить по разговору. Формулировка «хорошо выявил потребность» оставляет слишком много места для догадок. Формулировка «уточнил, для какой задачи клиент выбирает услугу» задаёт конкретное действие. Рядом запишите, в каких случаях вопрос не нужен: например, когда клиент сам подробно описал задачу.
В материалах об аудите звонков среди предметов проверки названы корректность маршрутизации, скорость и полнота ответа, поведение в сложных ситуациях (АльфаЛайн). Для собственного чек-листа эти направления нужно перевести в наблюдаемые действия: куда сотрудник направил обращение, на какой вопрос ответил и как отреагировал на претензию.
| Спорное требование | Проверяемая формулировка | Что учитывать |
|---|---|---|
| Выявил потребность | Уточнил задачу клиента, если она ещё не прозвучала | Клиент мог описать задачу до вопроса сотрудника |
| Отработал возражение | Ответил на конкретное сомнение клиента по существу | Если сомнения не было, критерий неприменим |
| Согласовал следующий шаг | Объяснил дальнейшее действие и получил понятный ответ клиента | Отказ клиента не равен ошибке сотрудника |
| Был вежлив | Не использовал оскорбления и не спорил с клиентом в грубой форме | Вывод об интонации требует прослушивания записи |
Предусмотрите отдельные ответы «неприменимо» и «недостаточно данных». Это разные ситуации. При отсутствии возражения сотруднику нечего отрабатывать, а при обрыве записи нельзя установить, чем закончился разговор. Ни один из этих случаев не стоит автоматически превращать в нарушение.
Как сравнить ошибки сервиса и выводы руководителя?
Попросите руководителя оценить звонок до просмотра результата ИИ. Иначе готовое замечание задаёт направление поиска: человек начинает искать подтверждение тому, что уже прочитал. Для каждого вывода руководитель указывает критерий, фрагмент разговора и объяснение.
- Оцените разговор вручную по согласованным правилам, без подсказок сервиса.
- Откройте результат ИИ и сопоставьте оценки по каждому критерию.
- Для каждого расхождения прослушайте нужный фрагмент вместе с соседними репликами.
- Отнесите расхождение к ошибке ИИ, ошибке руководителя, неясному правилу или недостатку данных.
- Запишите причину и конкретное исправление: уточнить правило, проверить расшифровку либо пересмотреть ручную оценку.
Вывод руководителя тоже требует доказательства. Если он считает ответ грубым, попросите назвать фразу и объяснить, какое правило она нарушает. Когда оба варианта оценки выглядят обоснованными, передайте спорный фрагмент ещё одному человеку без готовых выводов. Если согласия нет, оставьте случай спорным и уточните критерий.
Различайте ложное замечание и пропуск нарушения. В первом случае ИИ приписывает сотруднику ошибку, которой нет в записи. Во втором — пропускает ошибку, которую подтверждает разговор. Для каждой категории ведите отдельный список: общий балл скрывает, где именно проверка даёт сбой.
Например, клиент говорит: «Сейчас покупать не буду, мне нужно понять условия». Сервис отмечает отсутствие попытки закрыть продажу. Чтобы решить, верно ли замечание, сначала проверьте задачу звонка и правило оценки. Если сотрудник должен был проконсультировать клиента, требование немедленной покупки здесь лишнее. Это условный пример разбора, а не результат проверки конкретного сервиса.
При переводах между сотрудниками проверьте, слышит ли сервис весь разговор. Действие мог выполнить следующий сотрудник, чей участок записи не попал в анализ. Для такой ситуации пригодится инструкция о том, как проверить запись звонков до и после перевода.
Когда ИИ-оценку можно использовать в работе?
Проверяйте каждый критерий отдельно. Сервис может уверенно находить приветствие, но ошибаться при оценке ответа на возражение. Поэтому разрешение использовать результат стоит давать для конкретного правила и сценария разговора. Фраза «сервис в целом работает» не объясняет, какие его выводы можно принять без прослушивания.
Начать можно с отбора разговоров для ручного разбора: ИИ отмечает предполагаемую проблему, а человек проверяет запись. Прежде чем использовать оценку для решений о сотруднике, убедитесь, что к замечанию приложено проверяемое основание. Одного итогового балла для этого недостаточно.
После изменения инструкции повторно проверьте звонки, на которых нашли ошибки, и добавьте разговоры, которые ещё не разбирали. Повторная проверка старого набора показывает, исправили ли известную проблему. Новые разговоры помогают увидеть, работает ли правило за пределами знакомых примеров.
Для небольшой компании итогом аудита может стать короткая таблица: критерий, обнаруженная ошибка, её причина и статус использования. Например: «проверяем вручную» или «используем для отбора звонков». Если контроль качества коммуникаций ведёт отдельная команда, ей передают эту таблицу вместе с правилами оценки. Тогда внутренний руководитель и внешний проверяющий опираются на одни требования.
Типичные ошибки при проверке ИИ-оценки звонков
- Считать руководителя безусловным эталоном. Его замечания тоже нужно подтверждать записью и конкретным правилом.
- Смотреть только на итоговый балл. Одинаковая сумма скрывает разные ошибки по отдельным критериям.
- Принимать отсутствие нужной фразы за нарушение. Клиент мог сам сообщить информацию, которую сотруднику предписывают уточнить.
- Считать все расхождения ошибками ИИ. Сначала нужно исключить неполную запись, неточную расшифровку и двусмысленное требование.
- Проверять исправления только на знакомых звонках. В повторную проверку нужно включать разговоры вне исходной подборки.
Начните с действия на минуту: откройте последнее замечание ИИ и найдите в нём ссылку на фрагмент или цитату, которая подтверждает нарушение. Если основания нет, пометьте замечание «требует проверки по записи».
