Голосовые агенты
Голосовые агенты -- это AI-ассистенты, которые общаются с пользователями в режиме реального времени через голос. В отличие от текстовых агентов, голосовые агенты принимают речь на вход, обрабатывают её и отвечают голосом, обеспечивая естественный разговорный опыт.
Ключевые концепции
Агент
Голосовой агент -- это сущность с типом voice, которая определяет поведение AI-ассистента: системный промпт, приветственное сообщение, выбор провайдеров для распознавания и синтеза речи, а также подключённые инструменты (функции).
Режимы работы
Платформа поддерживает два режима обработки голоса:
| Режим | Описание | Когда использовать |
|---|---|---|
| Pipeline | Классический конвейер: STT → LLM → TTS | Максимальная гибкость в выборе провайдеров, контроль над каждым компонентом |
| Realtime | Audio-to-audio через API реального времени | Минимальная задержка, естественная интонация |
Подробнее о режимах -- в разделе Режимы работы.
Сессия
Каждый разговор с голосовым агентом создаёт сессию (VoiceSession). Сессия отслеживает:
- Статус разговора: в процессе (
pending,dialing,connecting,active) или итоговый (completed,failed,abandoned,busy,no_answer) - Длительность
- Канал связи (Web, SIP inbound/outbound, MMD)
- Транскрипт диалога (реплики пользователя и агента)
- Метрики производительности (задержки, количество токенов, время первого байта)
Каналы связи
Голосовые агенты могут принимать звонки через несколько каналов:
- Web -- встроенный виджет в интерфейсе платформы (WebRTC через LiveKit)
- SIP Inbound -- входящие телефонные звонки через SIP-транки
- SIP Outbound -- исходящие звонки, инициированные агентом
- MMD -- интеграция с внешними call-центрами через MMD Bridge
Создание голосового агента
Для создания голосового агента:
- Перейдите в проект и откройте раздел Голосовые агенты
- На вкладке Агенты нажмите Создать агента
- Укажите имя и описание агента
- Задайте системный промпт -- инструкции, определяющие поведение агента
- Опционально задайте приветственное сообщение -- фразу, которую агент произнесёт в начале разговора
- Выберите режим работы (Pipeline или Realtime) и настройте провайдеры
Начните с режима Pipeline и провайдеров по умолчанию (Deepgram STT + OpenAI LLM + Cartesia TTS). Это даст хороший баланс между качеством и скоростью. Переключайтесь на Realtime, если критична минимальная задержка.
Настройки голосового агента
Страница настроек агента состоит из нескольких разделов:
Основные настройки
- Имя агента -- отображаемое имя
- Системный промпт -- инструкции для AI-модели. Под полем есть кнопка Токены: по нажатию показывает примерный размер инструкций в токенах и дальше пересчитывает его по мере ввода. Подсчёт идёт токенайзером OpenAI; для моделей других провайдеров это оценка
- Приветствие -- первая фраза агента при начале разговора
- Режим -- Pipeline или Realtime
Конфигурация провайдеров
В зависимости от выбранного режима настраиваются различные провайдеры. Голос агента выбирается в отдельном окне: в нём задаются провайдер и модель синтеза, голос можно прослушать и добавить в избранное. Подробнее -- в разделе Настройка STT/TTS.
Общие настройки
Эти настройки доступны в обоих режимах:
- Обработка прерываний -- может ли пользователь перебивать агента
- Простой и возврат в диалог -- поведение при молчании пользователя
- Фоновое аудио -- эмбиент-звуки, звуки ожидания, филлеры
Подробнее -- в разделе Филлеры и фоновое аудио.
Инструменты
Голосовому агенту можно подключить функции -- пользовательские функции (HTTP, JavaScript), которые агент вызывает во время разговора. Они добавляются и убираются в секции Функции на странице агента.
MCP-серверы, воркфлоу как инструмент и суб-агенты доступны только текстовым агентам. На странице голосового агента этих секций нет.
Инструмент end_call добавляется автоматически ко всем голосовым агентам. Он позволяет агенту корректно завершить звонок, когда пользователь прощается.
Вкладки раздела "Голосовые агенты"
Раздел "Голосовые агенты" в интерфейсе проекта содержит две вкладки:
| Вкладка | Описание |
|---|---|
| Агенты | Список голосовых агентов, создание и настройка. По умолчанию отсортирован по колонке Обновлён -- недавно изменённые агенты сверху; колонка Язык показывает язык агента |
| Сессии | История звонков, транскрипты, метрики, аналитика. Подробнее -- в разделе Сессии и аналитика |
Телефонные номера, SIP-транки и правила маршрутизации настраиваются отдельно, в разделе Интеграции организации -- см. Телефония и SIP.
Тестирование агента
Голосовой агент можно протестировать прямо в интерфейсе платформы:
- Откройте страницу настроек агента
- Нажмите кнопку тестирования (иконка микрофона)
- Разрешите доступ к микрофону в браузере
- Начните разговор
В тестовом режиме конфигурация агента сохраняется в Redis и используется для эфемерной сессии. Это позволяет быстро проверить изменения до публикации.
Для работы голосового агента необходимы API-ключи провайдеров (OpenAI, Deepgram, Cartesia и т.д.). Убедитесь, что ключи настроены в разделе Провайдеры вашей организации.
Смотрите подробную конфигурацию STT и TTS провайдеров и режимы работы голосовых агентов.