Кросс-шаговая оценка
Оценка уровня 2 складывает баллы шагов пайплайна в итоговую оценку разговора. Настраивается в пайплайне и нужна только тем пайплайнам, которые помечены как QA-пайплайн.
QA-пайплайн
Флаг QA-пайплайн означает «результаты этого пайплайна — это оценка работы оператора». Он определяет, попадут ли разговоры в кабинет оператора, можно ли по ним подать апелляцию и учитываются ли они в коучинге.
Обычный пайплайн (классификация тем, извлечение сущностей) этим флагом помечать не нужно.
Параметры
| Параметр | Описание |
|---|---|
| Участие шагов | Явный список всех шагов, которые могут давать балл |
| Шкала | Минимум и максимум итоговой оценки |
| Порог прохождения | Начиная с какого балла разговор считается пройденным |
Шкала считается в баллах шагов
Максимум шкалы — это сумма объявленных максимумов участвующих шагов. Если один шаг даёт максимум 20 баллов, а второй — 25, максимум шкалы равен 45.
Не нормализуйте баллы шагов в 0–100 перед сложением. Уровень 2 складывает баллы в их собственной шкале, и подстановка стобалльных компонентов в шкалу «0–100» даёт результаты вида 156 / 100.
Проценты — это отдельное представление: наряду с баллом в исходной шкале система хранит нормализованную оценку 0–100, которая фиксируется один раз при завершении расчёта. Именно её показывает список разговоров.
Каждый шаг должен быть указан явно
Список участия шагов должен содержать все шаги, способные дать балл. Вес 0 допустим — это осознанное «шаг не считается», записанное в конфигурацию.
Система отклонит сохранение, если:
| Ошибка | Сообщение по сути |
|---|---|
| QA-пайплайн без настройки уровня 2 | ни один разговор не сможет быть оценён |
| В списке есть шаг, которого нет в пайплайне | указаны несуществующие шаги |
| Ненулевой вес у шага транскрибации, маршрутизации или языковой проверки | эти шаги не умеют давать балл и заблокируют разговор навсегда |
| Оцениваемый шаг не указан в списке | шаг молча выпал бы из оценки |
| Шаг с весом ссылается на промпт без настроенной оценки уровня 1 | шаг никогда не даст балл и заблокирует разговор |
Балл может давать только шаг LLM-анализа. Шаги транскрибации, маршрутизации и языковой проверки получают вес 0 или не указываются вовсе.
Незавершённые и обнулённые оценки
- Если хотя бы один оцениваемый шаг ещё не дал результат, итоговая оценка остаётся в состоянии «ожидает» с перечнем блокирующих шагов — вместо того чтобы показать заниженное число.
- Если сработал критерий с режимом Блокер конвейера (см. Критерии и стоп-факторы), итоговая оценка принудительно становится
0с пометкой «не пройден» — даже если соседний шаг ещё считается.
Что дальше
Версии оценок и проверка — что происходит с оценкой после расчёта.