Оценка качества
Оценка качества (QA-скоринг) — это превращение результатов LLM-анализа в числовой балл разговора и оператора. LLM отвечает на вопросы чек-листа по каждому разговору, а система складывает эти ответы в оценку по заданным вами правилам.
Оценки видны оператору в кабинете оператора, питают коучинг и могут влиять на премию — поэтому к ним применяются более строгие правила, чем к обычной аналитике.
Два уровня агрегации
| Уровень | Где настраивается | Что делает |
|---|---|---|
| Уровень 1 — оценка промпта | Вкладка Оценка в редакторе промпта | Складывает ответы по критериям одного чек-листа в балл шага |
| Уровень 2 — оценка пайплайна | Настройки пайплайна | Складывает баллы шагов в итоговую оценку разговора |
Уровень 1 отвечает на вопрос «сколько баллов оператор набрал по этому чек-листу», уровень 2 — «сколько он набрал за разговор целиком, если чек-листов несколько».
Уровни складывают баллы в собственной шкале. Если один шаг даёт максимум 20 баллов, а второй — 25, то максимум пайплайна равен 45, и именно это число указывается в шкале уровня 2. Не нормализуйте баллы шагов в 0–100 перед сложением — получите завышенный результат.
Как включить скоринг
- Опишите критерии в JSON-схеме промпта — каждый критерий должен возвращать поле со своим баллом (см. Критерии и стоп-факторы).
- Настройте агрегацию уровня 1 на вкладке Оценка в редакторе промпта.
- Настройте агрегацию уровня 2 в пайплайне и включите флаг QA-пайплайн (см. Кросс-шаговая оценка).
- Укажите, по каким метаданным определяется оператор, в Настройки → Операторы.
После этого каждый запуск пайплайна будет считать и сохранять оценку по каждому разговору.
Что делает оценку надёжной
Скоринг спроектирован так, чтобы уже посчитанный балл нельзя было изменить задним числом:
- Запуск замораживает правила. В момент старта пайплайна его конфигурация оценки (критерии, веса, пороги, шкала) сохраняется снимком. Балл считается только по этому снимку. Правка настроек завтра не сдвинет число, посчитанное вчера.
- Конфигурация оценки правится отдельно. Обычное редактирование промпта или пайплайна не может изменить настройки скоринга — для этого есть отдельное действие, которое записывает ревизию в историю. Попытка изменить их «походя» вернёт ошибку.
- Оценки версионируются. Каждый пересчёт создаёт новую версию, а не переписывает старую. Активная версия — одна, остальные хранятся вечно (см. Версии оценок и проверка).
- Пересчёт не применяется молча. Повторный запуск пайплайна по уже оценённому разговору создаёт версию со статусом «на проверке» — её должен подтвердить человек.
Исторические оценки никогда не пересчитываются автоматически. Если вы изменили правила, новые числа появятся только у разговоров, обработанных после изменения. Это сделано намеренно: оператор не должен обнаружить, что его прошлая оценка изменилась без его участия.
Разделы
Критерии и стоп-факторы — настройка уровня 1: веса, «неприменимо», блокеры и штрафы.
Кросс-шаговая оценка — настройка уровня 2: шкала, порог прохождения, участие шагов.
Версии оценок и проверка — жизненный цикл оценки, очередь «Оценки на проверку», пересчёт.