Какие метрики отслеживать у чат-бота

Метрика первая: сколько диалогов вы тратите

Каждый тариф ограничен числом диалогов в месяц — уникальных чатов с клиентами, независимо от числа сообщений внутри каждого, и считается это по всему аккаунту, а не по одному боту. Подробный разбор тарифов и того, что входит в каждый, — в статье про стоимость. Здесь важнее другое: число диалогов за месяц — это первая метрика, которая у вас действительно есть, и её стоит сверять с лимитом тарифа не потому, что превышение немедленно что-то заблокирует (сегодня не блокирует), а потому что это простой, честный индикатор роста или спада обращений.

Метрика вторая: что на самом деле написано в переписке

Число диалогов говорит про объём, но ничего не говорит про качество. Единственный способ оценить качество сегодня — открыть CRM-вкладку бота и почитать переписку самому. Это не отчёт с цифрами, а чтение реальных чатов, но именно там видно то, что не покажет ни одна цифра:

• как часто оператору приходится вручную забирать диалог у бота и отвечать самому;
• какие вопросы повторяются снова и снова — и получает ли на них бот внятный ответ;
• где бот явно теряется или отвечает мимо вопроса, хотя сам вопрос предсказуемый.

По сути, переписка в CRM — это индикатор качества описания задачи, а не только окно для ручных ответов. Если один и тот же вопрос стабильно требует вмешательства человека — это сигнал переформулировать или дополнить описание, а не просто мириться с тем, что «бот иногда не справляется». Что именно и как менять — отдельная тема, разобранная в статье о том, как обновлять сценарии бота.

Как выстроить ручной ритуал, который реально работает

1. Раз в месяц смотрите число диалогов за месяц и сравнивайте с прошлым — рост, спад, стабильность.
2. Раз в неделю (на старте — чаще) читайте CRM-вкладку каждого активного бота, а не только когда пришла жалоба.
3. Отмечайте вопросы, которые повторяются минимум три раза за неделю, — это кандидаты на доработку описания.
4. Считайте вручную (по ощущению или по факту открытых чатов), в скольких диалогах пришлось подключаться человеку — падение этой доли со временем и есть признак, что бот становится лучше.

Ни один из этих шагов не занимает больше нескольких минут, если делать его регулярно — именно нерегулярность делает эту работу утомительной, а не её содержание.

Что было бы неплохо иметь, но пока нет

Было бы удобно видеть среднее время ответа, долю диалогов без вмешательства человека, процент завершённых заявок — что угодно из типичного списка «метрик чат-бота», который встречается в статьях про аналитику. Ничего из этого продукт не считает и не показывает сегодня, и называть цифры, которых нет, было бы просто неправдой. Пока не увидите эти показатели в интерфейсе своими глазами — считайте, что их приходится оценивать на глаз, по переписке и по счётчику диалогов, описанным выше.

Как это выглядит на практике за одну неделю

Открываете CRM-вкладку по понедельникам и видите: за неделю 42 диалога, в шести из них человек вручную забирал разговор у бота. Читаете эти шесть — в четырёх клиент спрашивал про рассрочку, которой нет в описании бота вообще, в двух — что-то нетипичное, разовое. Вот и весь разбор: четыре повторяющихся случая — сигнал дополнить описание фразой про то, что рассрочки нет и куда направлять такой вопрос, два разовых — не повод менять ничего. Через неделю смотрите заново: если про рассрочку вопросов больше нет или бот теперь отвечает на них сам, правка сработала. Это весь цикл — без графиков, но с понятным решением на выходе каждый раз.

Итог

Метрик у чат-бота сегодня две, и обе требуют ручной работы: число диалогов против лимита тарифа и чтение переписки в CRM как индикатор того, где описание бота работает, а где нет. Это не идеальная аналитика, но она реальна и достаточна, чтобы принимать решения — гораздо лучше, чем ждать дашборда, которого нет, вместо того чтобы раз в неделю читать чаты.