Кратко Ръководство в Три Стъпки как дa си пуснете Local AI Agent + Model

[coolice]

Кратко ръководство за LM Studio Bionic, или колко лесно се стартира през Август 2026, да имате AI Агент изцяло локално, поверително, без месечни такси и без нужда от нов хардуер за хиляди Евро...

Общи стъпки (за всички)​

1. Свали LM Studio Bionic от lmstudio.ai/download (Windows)
2. Инсталирай .exe / (ако SmartScreen се оплаче → More info → Run anyway).
3. Отвори Bionic → Settings → Local Models → Explore.

• почти същото е с Linux / Mac версия

---

Вариант за 4 GB VRAM (слаби карти / лаптопи)​

• Търси Qwen3.5-4B
• Свали Q4_K_M (≈ 3–3.5 GB)
• Зареди като Local модел

Това е най-добрият малък модел в момента – по-силен от Gemma 4 E4B в reasoning и coding.

---

Вариант за Discrete 8 GB VRAM (или вградени - AMD Radeon 780M+ и Intel Arc Meteor Lake / Lunar Lake+ и достатъчно рам)​

• Търси Qwopus3.5-9B или Jackrong Qwopus
• Свали Qwopus3.5-9B-v3 (Q4_K_M ≈ 5.7 GB)
• Зареди като Local модел

Това е Opus-style reasoning версията на Jackrong върху Qwen3.5-9B – значително по-добра от обикновения 9B, особено в coding и agent задачи. Влиза комфортно на 8 GB карта.

---

Пояснения:

и двата модела ще се сптавят с https://agent.coolicehost.com/ но с разлика в нивото...

Qwopus 3.5-9B (Jackrong) – 8 GB​

Ще се оправи много добре с agent.coolicehost.com.Моделът е специално трениран за agentic задачи, tool calling, structured reasoning и следване на строги правила (точно като този Runbook с Hard rules, guard rails, DirectAdmin/SSH/CloudLinux инструкции). Очаквай стабилна и точна работа.

Qwen3.5-4B – 4 GB​

Ще се оправи за по-прости задачи, но не толкова лесно и надеждно.4B моделът може да следва базови инструкции и да изпълнява отделни команди, но при дълъг и строг runbook (много правила, приоритети, „нищо не се трие без YES“, CloudLinux ограничения и т.н.) по-често ще прави грешки или ще пропуска важни стъпки. За сериозна agent работа с този runbook е по-слаб.


Обобщение:

• За 8 GB карта → Qwopus 9B е отличен избор за този agent.
• За 4 GB карта → ще работи, но очаквай по-ограничени и по-малко стабилни резултати.

 

[coolice]

Тази тема е сплитнат пост от Как да управляваш DirectAdmin хостинг акаунт изцяло с AI агенти през SSH

 

[Sky]

Тъп въпрос - защо да го правя и какви са предимствата?

 

[coolice]

Да, въпросът не е тъп. В твоя случай ако вече плащаш 100+ долара месечно за ChatGPT, защо изобщо да си правиш локален AI?

Главните предимства на локалния вариант (LM Studio Bionic + локални модели)​

1. Пълна поверителност
   Всичко остава на твоя компютър. Нищо не се изпраща към OpenAI, Google или друг облак.Това е критично, когато работиш с:
   • данни на клиенти
   • SSH достъпи
   • бази данни, имейли, домейни
   • вътрешни документи и код
     При ChatGPT (дори с платен абонамент) данните минават през техните сървъри
2. Нула месечни такси след настройката
   Плащаш веднъж (времето за инсталация) и после ползваш колкото искаш – без лимити, без токени, без "reached your limit".
   ChatGPT абонаментът е постоянен разход.
3. Работи без интернет
   Можеш да ползваш агента и когато нямаш връзка или си на място с ограничена мрежа.
4. Неограничено ползване + локални инструменти
   Агентът може директно да работи с файлове, терминал, SSH, локални папки и т.н., без да трябва да качваш чувствителна информация навън.
5. Контрол
   Ти избираш модела, настройките и какво точно да прави агентът. Нямаш изненади от промени в политиката или цените на OpenAI.

Честната страна (къде ChatGPT печели)​

• Най-силните модели на OpenAI (особено reasoning моделите) все са много по-умни от локалните 4B/9B модели.
• Ако основно правиш общи разговори, писане на текст или леки задачи и не те интересува поверителността – платеният ChatGPT е по-удобен и по-качествен.
• Локалният вариант изисква малко начална настройка и зависи от хардуера ти (скоростта няма да е като в облака на слаб лаптоп).

Кога има смисъл да го направиш​

Има смисъл, ако живееш в ЕС:

• работиш с чувствителни данни (хостинг, клиенти, вътрешни системи)
• искаш агент, който реално изпълнява действия локално (като с runbook-а на CooliceHost)
• искаш да спреш месечните такси или да имаш неограничено ползване
• искаш резервен вариант, който работи офлайн и не зависи от чужди сървъри

ChatGPT или Claude или Grok е по-умният облачен асистент. Локалният вариант е по-безопасният, по-евтиният в дългосрочен план и по-подходящият, когато данните и контролът са важни.


Можеш да имаш и двете - ChatGPT за тежките задачи и локалния агент за ежедневната, поверителна и агентна работа.

 

[coolice]

@Sky - Не мисли че бих се мъчил с локал за продукшън - освен като хоби и бекъп вариант - ако не бяхме в ЕС...

Правил съм инфраструктурата за едни канадци и има оказвам помощ на ниво - Proxmox Cloud... Не участвам в day-to-day операциите на компанията им... Шефчето им ми разправя бил пуснал три Hermes агента с Claude Fable 5 (сега единия бил сменен с Qwen 3.8 Max през OpenRouter, че цената станал дебела и за канадския станарт - вчера ми го разправи) за day-to-day... Само нещо да мръдне по виртуалните машини, единия веднага скачал да рови логовете (супер удобно) ама там си нямат GDPR, AI Act и правила за криви краставици....

ПП И Cookie Warning на сайта си няма щото не продавал на Европейци - в черния списък сме му...

ППП Резултата от на къде върви ЕС сравнено с Америка колкото и да ни лъжат че се развиваме по добре от тях e видим от графиата за икономите, Аз обвинявам глупавите регулации... но това е за друга тема... (може да я факт чекнеш тази графика с ChatGpt-то ок е като цифри)

Преди ~18–20 години (2006–2008) икономиката на ЕС беше по-голяма от тази на САЩ — в пика през 2008 г. ЕС достигна около 131% от номиналния БВП на САЩ (≈ $19,3 трлн. срещу $14,8 трлн.).

Сега (прогноза за 2026 г. по данни на МВФ):

• САЩ: ≈ $32,4 трлн.
• ЕС: ≈ $23,0 трлн.

САЩ е около 1,4 пъти по-голяма (или с ~41% по-голяма) от ЕС. ЕС е само 71% от размера на американската икономика.

 

[Sky]

Mac mini с M4 ще се справи ли? 16 GB РАМ e.
И за приказки ли е или за работа? Може ли да пише код? Достъпа ми до високия платен план изтича и това ако може да коди...