Выберите модель для ваших разборов логов
SmartCode Relay работает с облачным ИИ-провайдером через стандартную конечную точку API, с моделью, работающей локально на вашем компьютере, или со встроенной моделью. Вариантов три. Ваш выбор определяет, какой текст покидает машину, поэтому прочитайте примечание о приватности под каждым вариантом.
Три способа подключить модель
Облачный ИИ-провайдер
Облачный ИИ-провайдер подключается через стандартную конечную точку API и подходит для сложных шагов, например чтения длинного набора настроек сервера. Текст промпта, включая любой текст файлов, который читает агент, уходит этому провайдеру, поэтому по возможности удаляйте IP-адреса посетителей из экспортированных логов. Проверьте условия провайдера. Плата, если она есть, берётся провайдером.
Модель на вашем компьютере
Модель, работающая локально на вашем компьютере, подходит для логов и настроек, которые вы не хотите никуда отправлять. С машины не уходит ничего. Время ответа и пригодное окно контекста зависят от вашего железа, поэтому нажмите Test и посмотрите оба значения, прежде чем полагаться на модель при длинном логе.
Встроенная модель
Встроенная модель — третий вариант, рядом с облачным ИИ-провайдером и моделью, работающей локально на вашем компьютере. Промпты уходят только на конечную точку модели, которую вы выберете, а страница приватности перечисляет необязательные сетевые функции, использующие сеть. Сначала прочитайте её.
Что показывает кнопка Test
Кнопка Test проверяет конечную точку перед началом разбора. Она показывает время ответа и окно контекста, из которого видно, сколько текста логов и настроек помещается в один запрос. Если тест не прошёл, сначала проверьте данные конечной точки. После изменений проверьте снова.
Выбор модели под задачу
Берите более крупную модель для сложных частей, например для чтения длинной конфигурации с множеством правил, и меньшую — для мелких правок вроде значения таймаута. run_on_model отправляет один сложный шаг более крупной модели, а остальной чат продолжается с меньшей. Меняется только этот шаг.
Качество у моделей разное, поэтому просматривайте каждый diff, прежде чем принять. В режиме Ask first агент останавливается перед каждым изменением, а результат вы проверяете своей тестовой командой на копии. Модели ошибаются.
