Кастомные провайдеры векторизации для Vector Storage
автор noone_anyone
20.03.26
Введение
Короткая инструкция о том, как подключить ваши embedding-модели, если провайдера нет в дефолтном списке SillyTavern.
Вам понадобится:
ваш провайдер (платный, бесплатный, какой угодно)
обновленная (на момент написания это 1.17 staging) версия Таверны
- Создайте новый профиль соединения. В настройках выберите Text Completion, а затем vLLM (может сработать и с llama.cpp, но я работаю с vLLM)
- Введите адрес вашего провайдера и (опционально) ключ. На этом примере я использую linkapi.ai
- Выберите любую embedding-модель из списка, подключитесь к ней, и сохраните этот профиль.
ВАЖНО!
Этот профиль ДОЛЖЕН остаться в ваших настройках, но вы спокойно можете переключиться на свой основной (тот, что используете для ролевой игры).
- Переключитесь в настройки расширения Vector Storage, выберите профиль vLLM, введите в поле Vectorization Model название вашей модели, которую вы выбрали в шаге 3 (точь в точь).
- Готово! Наслаждайтесь векторизацией, не привязанной к вашей машине.