Выбор LLM-модели
Каждый текстовый агент использует языковую модель (LLM) для генерации ответов. Платформа поддерживает несколько провайдеров и позволяет гибко настраивать параметры генерации.
Доступные провайдеры
| Провайдер | Описание |
|---|---|
| OpenAI | GPT-4o, GPT-4o-mini и другие модели OpenAI |
| Anthropic | Claude Sonnet, Claude Opus и другие модели Anthropic |
| Groq | Быстрый инференс с открытыми моделями (Llama, Mixtral) |
| Yandex | YandexGPT — модели для русскоязычных задач |
| GigaChat | Модели от Сбера для русскоязычных задач |
Набор доступных моделей зависит от конфигурации платформы и может расширяться администратором. Модели могут быть привязаны к конкретным проектам.
Выбор модели
Модель выбирается в секции настроек агента. Селектор группирует модели по провайдерам:
- Откройте страницу редактирования агента.
- В правой панели найдите секцию Модель.
- Раскройте выпадающий список и выберите нужную модель.
Формат идентификатора модели: провайдер/модель (например, openai/gpt-4o-mini).
Модель по умолчанию для новых агентов — openai/gpt-4o-mini.
Биллинг-множитель
Рядом с некоторыми моделями отображается коэффициент (например, x2), указывающий на относительную стоимость использования модели. Модели с коэффициентом x1 имеют стандартную стоимость.
Параметры генерации
Температура
Контролирует «креативность» ответов модели.
- Диапазон: от 0 до 2.
- По умолчанию: 0.7.
- Настраивается через слайдер или числовое поле с шагом 0.1.
| Значение | Поведение |
|---|---|
| 0 -- 0.3 | Детерминированные, предсказуемые ответы. Подходит для фактических вопросов, классификации, извлечения данных |
| 0.4 -- 0.7 | Баланс между точностью и разнообразием. Подходит для большинства задач |
| 0.8 -- 1.2 | Более творческие и разнообразные ответы. Подходит для генерации текстов, идей |
| 1.3 -- 2.0 | Максимальная вариативность. Может снижать качество и связность ответов |
Для агентов, работающих с инструментами (функциями, MCP, базой знаний), рекомендуется температура 0.3--0.5, чтобы модель более точно следовала инструкциям по вызову инструментов.
Макс. токенов
Максимальное количество токенов в одном ответе модели.
- Диапазон: от 256 до 32 000.
- По умолчанию: 2 048.
- Настраивается через слайдер или числовое поле с шагом 256.
Этот параметр ограничивает только длину ответа, а не контекстное окно. Общий размер контекста (промпт + история + ответ) определяется самой моделью.
| Рекомендация | Значение |
|---|---|
| Короткие ответы (чат-бот) | 512--1 024 |
| Стандартные задачи | 2 048 |
| Длинные тексты, анализ | 4 096--8 192 |
| Генерация документов | 16 000--32 000 |
Настройка API-ключей
Для работы LLM-моделей необходимо настроить API-ключи соответствующих провайдеров.
Добавление API-ключа
- Перейдите в Настройки организации > API-ключи (или нажмите кнопку «Добавить API-ключи» в секции модели, если ключи не настроены).
- Выберите провайдера.
- Введите API-ключ.
- Сохраните.
Если API-ключи не настроены, секция выбора модели покажет предупреждение вместо списка моделей. Агент не сможет работать без активного ключа для выбранного провайдера.
Ключи на уровне проекта
API-ключи настраиваются на уровне организации и доступны всем проектам. Список доступных моделей может быть ограничен для конкретного проекта администратором.
Возможности моделей
Модели различаются по поддерживаемым функциям:
| Возможность | Описание |
|---|---|
| Function calling | Вызов инструментов (функции, MCP, память). Поддерживается большинством современных моделей |
| JSON mode | Структурированный вывод в формате JSON |
| Vision | Обработка изображений в сообщениях |
| MCP | Прямая интеграция с MCP-серверами |
При выборе модели учитывайте задачи агента. Для сложных мульти-агентных сценариев с множеством инструментов рекомендуются более мощные модели (GPT-4o, Claude Sonnet). Для простых задач подойдут более быстрые и дешёвые модели (GPT-4o-mini, Groq).