постоянно пользуюсь хорошая программа... если как чат бот -> модели брать тут
https://huggingface.co/modelsкак чат бот лично мне больше всего нравятся как работают аблитерированные (с задушенной цензурой) модели
семейства gemma-3-27-b и gemma-4-31B они еще и картинки анализировать могут :))
https://huggingface.co/mlabonne/gemma-3-27b-it-abliteratedhttps://huggingface.co/mradermacher/gemma-3-27b-it-abliterated-i1-GGUFhttps://huggingface.co/mradermacher/gemma-4-31B-it-abliterated-GGUFLM Studio умеет RAG файлы и подобное. Интегрированна с Hugging face, есть русский язык но кривой. Драйвера свои и постоянно обновляются.
Конкретно LM-Studio хороша тем, что позволяет через себя (на сайте после того, как вы залогинились) объединить несколько ПК в кластер и запускать на них одну модель распределяя веса, либо например оставить включенный сервер где много видеопамяти (или ноут в моем случае) и подключаться на него с слабого компа с встройкой и спокойно работать с запущенной моделью.
Для качественной генерации надо использовать вариант 4Q-6Q - это где-то в районе 23-28 GB и учитывайте, что надо еще видео-память под контекст.
Но есть и хорошая часть, она работает на мак. И там сейчас видеопамять стоит дешевле всего.
Добавлено спустя 4 минуты 42 секунды: naumV писал(а):  |
А что есть без блоков в общении? Хочу частушки а оно не хочет((( |
https://huggingface.co/mlabonne/gemma-3-27b-it-abliteratedhttps://huggingface.co/mradermacher/gemma-3-27b-it-abliterated-i1-GGUFhttps://huggingface.co/mradermacher/gemma-4-31B-it-abliterated-GGUFПроверял на себе, у них вообще тормозов нет :) Но по моим наблюдением лучше всего работает на q6 -q8 версиях, в q4-q5 тоже, но уже хуже.
Если хочешь чтобы частушки пела используй в спарке с comfyui и плагином который берет текст с внешней модели.
(вот человек на локальной модели даже клип своял :) у него же на канале подробное описание, как это делать и как работат с comfyui..
Касательно управления голосом - для этого есть встроенный AI для windows и mac os и он все это может.
Касательно игрушек - ты мечтаешь о боте, поставь ИИ и попроси написать тебе бота на пайтон - аблитерированная модель скорее всего напишет. Пока будешь
страдать вайбкодить заодно изучишь пайтон, игры, как их взламывать и оконцовке напишешь бота сам без AI :)
| ican76 писал(а): |
как отключить автозагрузку и как обновлять сами модели(полностью переустанавливать на новые или есть автоматическая опция) |
Модели скачивают в хагинкфейсе (включи режим разработчика, русский язык и пошукай в настройках программы, там все понятно в принципе.
Автоматическую загрузку первой модели можно легко пропустить, внимательно посмотри на экран во время установки там кнопка есть.
(Голосов: 
