Перейти к основному содержимому

Калибровка чек-листа

Калибровка доводит ваш чек-лист оценки до формулировок, по которым разговоры оцениваются одинаково. Вы загружаете чек-лист в том виде, в каком он есть, и выбираете свои звонки и чаты. Несколько ИИ-проверяющих независимо оценивают по нему одни и те же разговоры. Там, где их ответы расходятся, Калибровщик уточняет формулировку пункта, маркеры «Да» и «Нет» и условие N/A. Из готового чек-листа одной кнопкой создаются промпты оценки.

Используйте калибровку, чтобы добавить свои критерии после первой оценки. Начинать с неё не обязательно: в быстром старте готовый чек-лист позволяет оценить один звонок без калибровки.

Калибровка чек-листа в Лия Sense: проверка на разговорах и уточнение пунктов

Раздел находится в меню Калибровка. На странице Калибровка чек-листов собраны все загруженные чек-листы: статус, текущая версия, согласованность по последнему циклу и число вопросов, которые войдут в промпт.

Как это работает​

  1. Вы загружаете чек-лист в CSV и выбираете разговоры для проверки.
  2. Калибровщик размечает выбранные разговоры по чек-листу силами нескольких ИИ-проверяющих и сравнивает их ответы по каждому пункту.
  3. Пункты, по которым проверяющие расходятся, переписываются и проверяются заново.
  4. Когда цикл завершён, выходит новая версия чек-листа с перечнем изменений.
  5. Вы отмечаете, какие вопросы идут в работу, и создаёте из них промпты.
Только ваши разговоры

Калибровка идёт на реальных разговорах проекта, которые вы отметили. Синтетические диалоги не генерируются. Сравнения с ручной разметкой людей нет: согласованность считается между ИИ-проверяющими.

Запуск калибровки​

Нажмите Загрузить чек-лист. Откроется мастер Калибровка чек-листа из пяти шагов.

ШагЧто делать
ФайлЗагрузите чек-лист в CSV. Шаблон можно скачать кнопкой Скачать шаблон. Требования к файлу описаны в разделе Файл чек-листа
Проверка файлаСистема показывает, сколько вопросов распознано и сколько войдёт в оценку, и выводит их таблицами по блокам. Если в файле есть ошибки, исправьте его и загрузите снова
ПояснениеНеобязательно. Опишите правила, которых нет в самом чек-листе: что считать нарушением, когда допустим N/A, как поступать в спорных случаях. До 20 000 символов
КачествоВыберите уровень калибровки (см. ниже). Под ползунком видно, сколько токенов и денег примерно уйдёт на цикл и сколько разговоров понадобится
Диалоги для проверкиОтметьте разговоры. Таблица и фильтры такие же, как в разделе Разговоры. Подходят чаты с сообщениями и звонки с готовой расшифровкой

Нажмите Запустить калибровку. До этого момента ничего не сохраняется. После запуска откроется карточка чек-листа, а калибровка продолжит идти на сервере, даже если закрыть вкладку.

Уровень качества​

Чем выше уровень, тем больше разговоров нужно для проверки и тем дороже цикл.

УровеньМинимум разговоровЦель согласованности
Эконом10от 97%
Базовый20от 95%
Стандарт (по умолчанию)30от 93%
Повышенный40от 90%
Максимум50от 88%

Максимум для любого уровня составляет 100 разговоров. Если выбраны неподходящие разговоры (чат без сообщений или звонок без расшифровки), мастер покажет их списком: снимите отметку и запустите снова.

Карточка чек-листа​

Чат с Калибровщиком​

Слева на карточке находится чат. Первое сообщение показывает файл и состав выборки, затем Калибровщик сообщает о ходе работы. Прогресс разметки виден в статусе чек-листа в виде «размечено 12 из 30».

Если Калибровщику не хватает правила, которое нельзя вывести из разговоров, он задаёт вопрос в чате, а чек-лист получает статус Нужно решение. Ответьте в чате, и калибровка продолжится. После первого ответа Калибровщика в чате можно и самому попросить поправить критерии. Кнопка Стоп останавливает текущий ответ, кнопка Повторить перезапускает его после сбоя.

В ответе с результатом Калибровщик присылает таблицу чек-листа. Её можно открыть целиком или скачать кнопкой Скачать CSV. Кроме пунктов чек-листа, в таблице есть служебные колонки:

КолонкаЧто показывает
СовпадениеДоля разговоров, в которых оценки всех проверяющих по пункту совпали. Цель зависит от уровня качества
Однозначность (альфа Криппендорфа)Насколько согласованы проверяющие с поправкой на случайные совпадения. Порог: 0,8
СтатусИтог по пункту: прошёл ли он проверку, а если нет, что с ним сделать

Согласованность оценки​

Карточка Согласованность оценки показывает, в какой доле ячеек «вопрос × разговор» все проверяющие ответили одинаково, и цель для выбранного уровня. Если цель не достигнута, значение подсвечено красным: что делать с отдельными пунктами, подскажет колонка Статус в таблице Калибровщика. Пока цикл не завершён, согласованность не измеряется.

Состав чек-листа​

На вкладке Состав чек-листа перечислены вопросы текущей версии: критерий, условие N/A, маркеры и примеры. Отметьте галочкой вопросы, которые пойдут в промпт оценки. Отметки сохраняются сразу.

Карандаш у вопроса открывает окно Править вопрос. Ручная правка меняет формулировку в текущей версии и не создаёт новую. Пока идёт цикл калибровки, правка и галочки недоступны.

История и протокол цикла​

На вкладке История перечислены версии чек-листа: когда создана и что изменилось. Версия 1 появляется при загрузке файла, каждая следующая выходит по итогам цикла, например «Калибровка на 30 разговорах. Уточнено вопросов: 4».

Ссылка протокол открывает подробности цикла:

  • статус цикла и переход версий, например «версия 1 → 2»;
  • цель цикла и сколько групп вопросов сошлось;
  • по каждой группе итерации с долей совпавших оценок;
  • разговоры, в которых проверяющие разошлись, и их ответы;
  • правки формулировок в виде «было → стало» с отметкой, принята правка или отклонена.

Новый цикл​

Кнопка Новый цикл калибровки запускает проверку текущей версии на новой выборке. В окне нужно выбрать уровень качества и разговоры, пояснение повторно не запрашивается. Новый цикл можно запустить только после завершения предыдущего. Если предыдущий цикл ждал вашего ответа в чате, он закроется, а чат начнётся заново.

Создание промптов​

Под таблицей состава нажмите Создать промпт из N вопросов. В окне выберите:

  • Тип разговоров: чаты или звонки;
  • Модель: провайдера и модель, которые будут оценивать разговоры.

Система создаст по одному промпту на каждый блок отмеченных вопросов (блок задаётся частью номера до точки: Q1, Q2 и так далее). Каждый вопрос становится критерием с оценкой 1 (выполнено), 0 (нарушение) или -1 (неприменимо), с цитатой из разговора и обоснованием. Промпты появятся в разделе Промпты.

Если создать промпты повторно, например после нового цикла, у тех же промптов появятся новые версии. Веса, стоп-факторы и настройки коучинга, которые вы задали вручную, сохранятся.

Промпты не подключаются сами

Созданные промпты не попадают в пайплайны автоматически. Чтобы по ним начали оцениваться разговоры, добавьте их в пайплайн или сделайте активными. Веса критериев и стоп-факторы настраиваются на вкладке Оценка, см. Критерии и стоп-факторы.

Статусы​

Статус чек-листаЧто значит
ЧерновикЧек-лист загружен, цикл не запущен
В процессеИдёт цикл калибровки
Нужно решениеКалибровщик ждёт вашего ответа в чате
ГотовЦикл завершён, вышла новая версия
Статус циклаЧто значит
В процессеРазговоры размечаются, формулировки уточняются
Нужно решениеКалибровщик задал вопрос в чате
ЗавершёнВышла новая версия чек-листа
ОшибкаЦикл не удался. Причина видна в карточке, запустите цикл снова

Ограничения​

  • Калибровка недоступна, если в организации включено маскирование персональных данных.
  • Если баланс организации исчерпан, запустить калибровку и писать в чат нельзя.
  • Токены за калибровку списываются с баланса организации, включая ответы в чате.
  • Если Калибровщик не уложился по времени, попробуйте ещё раз или уменьшите выборку.

Доступ​

Пункт меню Калибровка виден пользователям с правом Управление аналитикой или Наставничество. Загрузить чек-лист, запустить цикл, писать в чат, править вопросы и создавать промпты может только пользователь с правом Управление аналитикой. Подробнее: Роли и доступы.