Калибровка чек-листа
Калибровка доводит ваш чек-лист оценки до формулировок, по которым разговоры оцениваются одинаково. Вы загружаете чек-лист в том виде, в каком он есть, и выбираете свои звонки и чаты. Несколько ИИ-проверяющих независимо оценивают по нему одни и те же разговоры. Там, где их ответы расходятся, Калибровщик уточняет формулировку пункта, маркеры «Да» и «Нет» и условие N/A. Из готового чек-листа одной кнопкой создаются промпты оценки.
Используйте калибровку, чтобы добавить свои критерии после первой оценки. Начинать с неё не обязательно: в быстром старте готовый чек-лист позволяет оценить один звонок без калибровки.
Раздел находится в меню Калибровка. На странице Калибровка чек-листов собраны все загруженные чек-листы: статус, текущая версия, согласованность по последнему циклу и число вопросов, которые войдут в промпт.
Как это работает
- Вы загружаете чек-лист в CSV и выбираете разговоры для проверки.
- Калибровщик размечает выбранные разговоры по чек-листу силами нескольких ИИ-проверяющих и сравнивает их ответы по каждому пункту.
- Пункты, по которым проверяющие расходятся, переписываются и проверяются заново.
- Когда цикл завершён, выходит новая версия чек-листа с перечнем изменений.
- Вы отмечаете, какие вопросы идут в работу, и создаёте из них промпты.
Калибровка идёт на реальных разговорах проекта, которые вы отметили. Синтетические диалоги не генерируются. Сравнения с ручной разметкой людей нет: согласованность считается между ИИ-проверяющими.
Запуск калибровки
Нажмите Загрузить чек-лист. Откроется мастер Калибровка чек-листа из пяти шагов.
| Шаг | Что делать |
|---|---|
| Файл | Загрузите чек-лист в CSV. Шаблон можно скачать кнопкой Скачать шаблон. Требования к файлу описаны в разделе Файл чек-листа |
| Проверка файла | Система показывает, сколько вопросов распознано и сколько войдёт в оценку, и выводит их таблицами по блокам. Если в файле есть ошибки, исправьте его и загрузите снова |
| Пояснение | Необязательно. Опишите правила, которых нет в самом чек-листе: что считать нарушением, когда допустим N/A, как поступать в спорных случаях. До 20 000 символов |
| Качество | Выберите уровень калибровки (см. ниже). Под ползунком видно, сколько токенов и денег примерно уйдёт на цикл и сколько разговоров понадобится |
| Диалоги для проверки | Отметьте разговоры. Таблица и фильтры такие же, как в разделе Разговоры. Подходят чаты с сообщениями и звонки с готовой расшифровкой |
Нажмите Запустить калибровку. До этого момента ничего не сохраняется. После запуска откроется карточка чек-листа, а калибровка продолжит идти на сервере, даже если закрыть вкладку.
Уровень качества
Чем выше уровень, тем больше разговоров нужно для проверки и тем дороже цикл.
| Уровень | Минимум разговоров | Цель согласованности |
|---|---|---|
| Эконом | 10 | от 97% |
| Базовый | 20 | от 95% |
| Стандарт (по умолчанию) | 30 | от 93% |
| Повышенный | 40 | от 90% |
| Максимум | 50 | от 88% |
Максимум для любого уровня составляет 100 разговоров. Если выбраны неподходящие разговоры (чат без сообщений или звонок без расшифровки), мастер покажет их списком: снимите отметку и запустите снова.
Карточка чек-листа
Чат с Калибровщиком
Слева на карточке находится чат. Первое сообщение показывает файл и состав выборки, затем Калибровщик сообщает о ходе работы. Прогресс разметки виден в статусе чек-листа в виде «размечено 12 из 30».
Если Калибровщику не хватает правила, которое нельзя вывести из разговоров, он задаёт вопрос в чате, а чек-лист получает статус Нужно решение. Ответьте в чате, и калибровка продолжится. После первого ответа Калибровщика в чате можно и самому попросить поправить критерии. Кнопка Стоп останавливает текущий ответ, кнопка Повторить перезапускает его после сбоя.
В ответе с результатом Калибровщик присылает таблицу чек-листа. Её можно открыть целиком или скачать кнопкой Скачать CSV. Кроме пунктов чек-листа, в таблице есть служебные колонки:
| Колонка | Что показывает |
|---|---|
| Совпадение | Доля разговоров, в которых оценки всех проверяющих по пункту совпали. Цель зависит от уровня качества |
| Однозначность (альфа Криппендорфа) | Насколько согласованы проверяющие с поправкой на случайные совпадения. Порог: 0,8 |
| Статус | Итог по пункту: прошёл ли он проверку, а если нет, что с ним сделать |
Согласованность оценки
Карточка Согласованность оценки показывает, в какой доле ячеек «вопрос × разговор» все проверяющие ответили одинаково, и цель для выбранного уровня. Если цель не достигнута, значение подсвечено красным: что делать с отдельными пунктами, подскажет колонка Статус в таблице Калибровщика. Пока цикл не завершён, согласованность не измеряется.
Состав чек-листа
На вкладке Состав чек-листа перечислены вопросы текущей версии: критерий, условие N/A, маркеры и примеры. Отметьте галочкой вопросы, которые пойдут в промпт оценки. Отметки сохраняются сразу.
Карандаш у вопроса открывает окно Править вопрос. Ручная правка меняет формулировку в текущей версии и не создаёт новую. Пока идёт цикл калибровки, правка и галочки недоступны.
История и протокол цикла
На вкладке История перечислены версии чек-листа: когда создана и что изменилось. Версия 1 появляется при загрузке файла, каждая следующая выходит по итогам цикла, например «Калибровка на 30 разговорах. Уточнено вопросов: 4».
Ссылка протокол открывает подробности цикла:
- статус цикла и переход версий, например «версия 1 → 2»;
- цель цикла и сколько групп вопросов сошлось;
- по каждой группе итерации с долей совпавших оценок;
- разговоры, в которых проверяющие разошлись, и их ответы;
- правки формулировок в виде «было → стало» с отметкой, принята правка или отклонена.
Новый цикл
Кнопка Новый цикл калибровки запускает проверку текущей версии на новой выборке. В окне нужно выбрать уровень качества и разговоры, пояснение повторно не запрашивается. Новый цикл можно запустить только после завершения предыдущего. Если предыдущий цикл ждал вашего ответа в чате, он закроется, а чат начнётся заново.
Создание промптов
Под таблицей состава нажмите Создать промпт из N вопросов. В окне выберите:
- Тип разговоров: чаты или звонки;
- Модель: провайдера и модель, которые будут оценивать разговоры.
Система создаст по одному промпту на каждый блок отмеченных вопросов (блок задаётся частью номера до точки: Q1, Q2 и так далее). Каждый вопрос становится критерием с оценкой 1 (выполнено), 0 (нарушение) или -1 (неприменимо), с цитатой из разговора и обоснованием. Промпты появятся в разделе Промпты.
Если создать промпты повторно, например после нового цикла, у тех же промптов появятся новые версии. Веса, стоп-факторы и настройки коучинга, которые вы задали вручную, сохранятся.
Созданные промпты не попадают в пайплайны автоматически. Чтобы по ним начали оцениваться разговоры, добавьте их в пайплайн или сделайте активными. Веса критериев и стоп-факторы настраиваются на вкладке Оценка, см. Критерии и стоп-факторы.
Статусы
| Статус чек-листа | Что значит |
|---|---|
| Черновик | Чек-лист загружен, цикл не запущен |
| В процессе | Идёт цикл калибровки |
| Нужно решение | Калибровщик ждёт вашего ответа в чате |
| Готов | Цикл завершён, вышла новая версия |
| Статус цикла | Что значит |
|---|---|
| В процессе | Разговоры размечаются, формулировки уточняются |
| Нужно решение | Калибровщик задал вопрос в чате |
| Завершён | Вышла новая версия чек-листа |
| Ошибка | Цикл не удался. Причина видна в карточке, запустите цикл снова |
Ограничения
- Калибровка недоступна, если в организации включено маскирование персональных данных.
- Если баланс организации исчерпан, запустить калибровку и писать в чат нельзя.
- Токены за калибровку списываются с баланса организации, включая ответы в чате.
- Если Калибровщик не уложился по времени, попробуйте ещё раз или уменьшите выборку.
Доступ
Пункт меню Калибровка виден пользователям с правом Управление аналитикой или Наставничество. Загрузить чек-лист, запустить цикл, писать в чат, править вопросы и создавать промпты может только пользователь с правом Управление аналитикой. Подробнее: Роли и доступы.