Локальные языковые модели (LLM): Gemma, Qwen, GLM и прочие №xxx

В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны!

Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем [s]сознание[/s] контекст и бугуртим с нано флеш моделей на 1488B параметров.

Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до [s]8 5 4 3 2[/s] 0,58 бит, на кофеварке с подкачкой на микроволновку.

[b]Официальная, но слегка тухлая вики треда с гайдами по запуску и базовой информацией:[/b] https://2ch-ai.github.io/wiki/llama/
[b]Не вошедшее в шапку и архив полезных ссылок:[/b] https://rentry.co/llama-2ch-archive

[b]Гайд для новичков:[/b] https://rentry.org/2ch-llama-inference

[b]Инструменты для запуска на десктопах:[/b]
• llamacpp - отец и мать, основа и фундамент. Подавляющая часть всех популярных инструментов является именно её оберткой. Из коробки предоставляет удобную вебморду для ассистентских задач, но часто используется исключительно как бекенд из-за невозможности гибкой настройки и управления этой самой мордочкой. Для запуска придется вручную подбирать параметры и держать в соседней вкладке открытую документацию. Не лучший выбор для новичка, но мнения в треде расходятся.

• koboldcpp - когда-то был самым простым вариантом запустить ламу щелкнув две кнопки, сейчас скорее универсальный комбайн для генерации всего что только можно представить. Интерфейс передает привет из начала двухтысячных, но компенсирует свою невзрачность функцианальностью. Как и свой родитель, многими используется исключительно как бекенд. Новичками любим за простоту установки и лаунчер в котором можно быстро накрутить параметры.

• TextGen - в девичестве text-generation-webui, задуманный как универсальный интерфейс без привязки к одному формату. По дефолту поставляется с ламой, но можно дополнительно установить и другие бекенды - оптимизированный под CPU форк ik_llama, заточенный под GPU ExLlamaV3 или классические трансформеры. Имеет свою графическую оболочку с настройками, различными режимами продолжения текста и даже пригоден для простых ролевушек.

• LM Studio - заточена под кодоунитазные задачи, имеет прилизанный корпоративный интерфейс, под капотом скрывает ламу. В отличии от своих сестричек является продуктом с закрытым исходным кодом, поэтому не особо уважается среди местных. Раньше считалась однокнопочной, более таковой не считается. После множества обновлений завезли кучу настроек разбросанных по неочевидным местам из-за чего новичку теперь крайне легко потеряться.

• Unsloth Studio - сложно конкретно сказать для чего оно сделано. Наверное для всего сразу. Есть возможность запускать модели, тренировать свои адаптеры, генерировать свои датасеты, квантовать и спаривать. Всё внутри одного интерфейса. Для новичка штука избыточная, но никто не запрещает пользоваться только частью возможностей. Пока устоявшегося мнения в треде не наблюдается.

• Ollama - вещь можно сказать бесполезная. На текущий момент идентична ванильной ламе за парой незначительных исключений. Чаще всего используется как бекенд для чего-то вроде Open WebUI и других фронтендов. Ставится проще чем оригинальная лама, не требует навыка, поэтому так популярна. Встроенный интерфейс прост, понятен и ограничен. Спросом среди местных не пользуется и практически не упоминается в неироничном контексте.

[b]Универсальные десктопные фронтенды:[/b]
• SillyTavern - начинала как вилка оригинальной таверны, со временем превзошла своего родителя по всем параметрам. Крайне мощный фронтенд позволяющий настраивать всё что вздумается, от шаблонов разметки до цвета каждой отдельной кнопочки. Имеет репутацию интерфейса для начеса хвостиков и оправдывает свою репутацию полностью. Единственная проблема - разработка почти полностью остановлена. Обновления выходят по чайной ложке раз в несколько месяцев, так что при обнаружении любых косяков править их придется самостоятельно. Нативно поддерживает кучу бекендов, имеет приличную коллекцию расширений, инструментов для отладки, и еще много всякого. Готовые пресеты разной степени шизовости можно отрыть на одноименном сабреддите и обниморде.

• Marinara Engine - когда-то была одной из многих вариаций таверны, но стремительно развилась в самостоятельный проект с кучей уникальных возможностей. Большую часть этих возможностей реализует через агентов и различные системы трекинга. Помечена как Alpha Software со всеми вытекающими, но активно допиливается и пока не собирается умирать. Тред отзывается позитивно, рекомендует как вкатунам так и ветеранам локального кума.

[b]Инструменты для запуска на мобилках:[/b]
• Maid - интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• ChatterUI - альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://web.archive.org/web/20241201232031/https://rentry.co/STAI-Termux

[b]Поставщики локальных моделей:[/b]
• Hugging Face - платформа куда загружается всё и во всех форматах: https://huggingface.co/models
• Проверенные квантоделы: https://huggingface.co/bartowski, https://huggingface.co/mradermacher, https://huggingface.co/unsloth

[b]Рейтинги и списки локальных моделей:[/b]
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_moe_2026
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard

[b]Готовые карточки для таверны:[/b]
• Botbooru - текущая мета (регистрируйтесь для отображения всего спектра, и/или меняйте страну): https://botbooru.com
• Прошлая мета, откуда массово удалили карточки сомнительного содержания: https://www.characterhub.org, https://www.chub.ai
• Архив карточек, удадённых с chub: https://gottasaveemall.github.io/

[b]Официальные документации к инструментам:[/b]
• llamacpp: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• koboldcpp: https://github.com/LostRuins/koboldcpp/wiki
• SillyTavern: https://docs.sillytavern.app/usage/quick-start

Архив тредов можно найти на архиваче: https://arhivach.vc/?tags=14780%2C14985

Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.

Предыдущие треды тонут здесь: