Локално AI - homelab

Главният изпълнителен директор на AMD, Лиза Су, показа Ryzen AI Halo, компактен настолен компютър, способен да стартира AI модели с до 200 милиарда параметъра изцяло локално, без интернет връзка. Въпреки малкия си размер, той разполага със 128GB унифицирана памет и мощен Ryzen AI Max процесор, което позволява на разработчиците да създават и стартират AI приложения директно на собствения си хардуер.Все още трябва да закупите устройството, а локалните модели няма да заменят всяка платена AI услуга. Но за хората, които използват AI интензивно, стартирането на модели без текущи API такси може да промени икономиката на разработването на AI.

https://lnkd.in/p/dpK8AEDG

Виж файлът 37934
  • Base 128GB Model (Ryzen AI Max+ 395): Priced at $3,999.99.
  • Newer Gorgon Halo / Ryzen AI Max Pro 495 Model (192GB memory): Priced around $7,299
 
Може ли малък настолен компютър да изпълнява голям езиков модел без постоянна сметка за облачен API? Ryzen AI Halo поставя този въпрос съвсем практически, но отговорът зависи от конкретния модел, представянето на теглата, дължината на разговора и натоварването. „Побира се“ и „работи достатъчно бързо за моята задача“ са две отделни проверки.

Поводът за този авторски разбор е техническият материал на AMD от 12 ноември за Quark и Qwen3.8-Flash-Next. Проверихме и споделения от читател LinkedIn пост на Matt Baskovc от 16 ноември. Клипът отново показва 128 GB конфигурация; не го представяме като днешна премиера. По-новият Halo с PRO 495 е описан от AMD още на 12 октомври. Тук събираме проверени спецификации, ограниченията на публикуваните тестове и собствени изчислителни примери, без да твърдим, че сме тествали машина.

Първо уточнете кое поколение гледате

Официалната конфигурация с Ryzen AI Max+ 395 е с 128 GB LPDDR5x, 16 CPU ядра и 32 нишки, интегрирана Radeon 8060S с 40 изчислителни блока и памет с пропускателна способност 256 GB/s. Страницата посочва 2 TB SSD, 10 Gb Ethernet, Linux или Windows 11 и 120 W TDP. Това е параметър на платформата, а не измерена консумация от контакта за всяка задача.

При Ryzen AI Max+ PRO 495 официалната конфигурация е 192 GB, Radeon 8065S, отново 16 ядра/32 нишки и 40 GPU блока, с 273 GB/s пропускателна способност. И двете кутии са описани като 150 × 150 × 45,4 mm. Разликата в паметта е съществена; не трябва снимка на единия модел да се съчетава със спецификации на другия.

Общият пул се използва от CPU, GPU и останалата система. При PRO 495 AMD заявява до 160 GB за GPU. Това не означава 192 GB отделна видеопамет плюс още 192 GB RAM. Не пренасяме този лимит към 395: за конкретната машина трябва да се проверят BIOS, драйверът и реално видимата алокация. По-голямата RAM не премахва ограниченията на изчисленията или пропускателната способност.

Защо 200B и 300B не са достатъчна спецификация

Рекламните граници на AMD са до 200 милиарда параметъра при 128 GB и до 300B при 192 GB; по-старият анонс изрично свързва големите конфигурации с 4-битово квантоване. Това е ориентир за капацитет, не обещание за еднаква точност, контекст или скорост при всички модели.

Собствена опростена сметка: 200B тегла по 4 бита са 100 милиарда байта, тоест около 93,1 GiB, само за идеално плътно записаните тегла. За 300B получаваме 150 GB, около 139,7 GiB. Реален формат добавя скали, метаданни и понякога слоеве с по-висока точност. Зареденият runtime може да се различава от размера на файловете. Към всичко това идват кеш, буфери, ОС и другите приложения.

Квантоването намалява точността на числовото представяне. Ефектът върху отговорите се проверява за конкретната задача, особено при код и извикване на инструменти. При mixture-of-experts модел активните параметри за един токен са различни от общо съхраняваните параметри. Малък активен дял не означава, че всички останали тегла изчезват от паметта.

Свежият Quark пример показва реалния компромис

В публикацията от 12 ноември AMD описва намаляване на приблизителното съхранение на Qwen конфигурация от 130 до 80 GB чрез компактна замяна на голяма n-gram таблица. По-малкият вариант е изпълнен на Halo. Това е промяна в информацията на модела, не просто безплатно компресиране: ефектът върху точността зависи от задачата.

Числата за точност в този разбор са получени на Instinct системи; не са бенчмарк за скорост или качество на Halo. Картата на модела описва Linux и модифициран vLLM стек. Не превръщаме зададената там контекстна граница в доказана продължителна сесия на настолната машина. Между публикацията и картата има различни препратки към необходимите промени; готова инсталация трябва да фиксира точните версии и да мине собствен тест.

Работният контекст също заема памет

KV кешът запазва междинно представяне на вече обработените токени. При обикновено attention с групирани KV глави опростеният размер е 2 × слоеве × KV глави × размер на глава × байтове × токени × независими последователности. Това е изчислителен пример, не спецификация на Qwen или измерване на Halo.

Ако условно имаме 64 слоя, 8 KV глави, размер 128 и 2 байта, един токен заема 262 144 байта кеш. При 32 768 токена това са 8 GiB за една последователност; при 131 072 са 32 GiB. Четири независими дълги разговора могат да променят бюджета радикално. Архитектури с друг кеш, споделен префикс, квантован кеш или ограничено attention имат различно поведение.

Затова настройката на контекста трябва да произтича от нужната работа. За кратко извличане на данни огромна история може да е излишна. За анализ на много файлове трябва да се измерят както приемането на входа, така и генерирането след него. Документацията на llama.cpp отделя настройките за контекст, типове на KV кеша и паралелни слотове; една стойност за параметри не ги заменя.

Скорост, паралелизъм и софтуер

Първият токен, следващите токени и завършената задача са различни показатели. Дълъг prompt може да направи старта бавен, дори кратка демонстрация да изглежда плавна. При няколко потребители общият throughput може да се повиши, докато отделният човек чака повече. CPU и GPU споделят ресурси с браузър, индексатор, компилатор и други процеси.

TOPS на NPU и FP16 TFLOPS на GPU не са токени в секунда. Не всяка библиотека използва NPU, а поддръжка на Windows и Linux не означава идентични backend-и, оператори и пакети. Старата страница за ROCm 7.2.1 сама препраща към новата унифицирана документация; не я използваме като окончателна актуална матрица за PRO 495. Търси се валидирана комбинация от точен APU, ОС, драйвер, runtime и формат на модела.

Практическият ни критерий за приемане е малък набор от собствени задачи: кратък и дълъг вход, проверим код, структурирано извличане и реалният брой паралелни заявки. Записват се пикова памет, време до първи токен, скорост на генериране, крайна точност и консумация от контакта. Това е предложен протокол, не наш публикуван резултат.

Какво остава локално и колко струва

Локални тегла и локален runtime могат да работят без облачен inference API. Но агентът може отделно да използва търсачка, външни инструменти, телеметрия или облачен fallback. Изтеглянето и обновяването също изискват мрежа. Поверителността идва от целия маршрут на данните, правата и конфигурацията, не от думата „локален“ върху кутията.

Икономиката включва хардуер, данъци, доставка, ток, поддръжка и време за настройване. Наш условен пример: 150 W от контакта за 8 часа дневно са 36 kWh за 30 дни; умножете по действителната си тарифа. При 24 часа са 108 kWh. Тези стойности са аритметика, а не измерена консумация на Halo.

AMD публикува собствен модел за по-ниска тригодишна цена при интензивна употреба. Той не доказва равностойно качество с облачния модел или спестяване за всеки клиент. При рядка работа API може да е по-евтин; при постоянни предвидими задачи и чувствителни данни местната машина може да има силни предимства. Сравнявайте цена на правилно завършена задача, включително повторенията и човешкия преглед.

Към проверката официалният сайт посочва покупка и употреба в САЩ. Не сме потвърдили наличност, крайна цена, доставка или гаранция за България. Halo заслужава внимание заради голямата обща памет в малък корпус. Решението обаче трябва да започне от точния модел и работен процес, а не от най-голямото число на рекламния слайд.

Редакционна проверка: 2026-11-17T07:54:00.882419+00:00.

Източници
AMD ROCm Blogs — Quark UINT4 Qwen3.8-Flash-Next on Ryzen AI Halo — 2026-11-12
AMD — Ryzen AI Halo Max+395 specifications
AMD — Ryzen AI Halo Max+PRO495 specifications
AMD — Meet the Next Ryzen AI Halo — 2026-10-12
AMD — current Halo overview and cost-scenario footnotes
Matt Baskovc — user-supplied Halo clip on LinkedIn — 2026-11-16
AMD — Quark TokenPLE AWQ UINT4 model card
llama.cpp — server documentation

Статия в SIExpo.bg: https://siexpo.bg/article/ryzen-ai-halo-quark-memory-395-495-local-ai-practical-analysis-2026
 
При локалните модели най-важното наистина е VRAM и пропускателната способност на паметта, а не само броят ядра. Старите карти като P40 са евтин вход за 24GB VRAM, но харчат доста и нямат бърз FP16, докато за тиха домашна машина с квантизирани 14B–32B модели често по-балансиран вариант е по-нова карта с 16–24GB или система с бърза унифицирана памет. Всичко зависи дали целта е експерименти през уикенда или постоянен 24/7 сървър у дома.
 
Аз за лиготията подкарах на сървър 3 бр. NVIDIA Tesla P40 всяка с по 24GB VRAM и съм доволен и от двата варианта:
- трите обединени за модел с разход до 60-70 GB VRAM
- всяка с отделен модел заемащ само собствената 24GB VRAM
 
Аз за лиготията подкарах на сървър 3 бр. NVIDIA Tesla P40 всяка с по 24GB VRAM и съм доволен и от двата варианта:
- трите обединени за модел с разход до 60-70 GB VRAM
- всяка с отделен модел заемащ само собствената 24GB VRAM
то въпроса за какво ги използваш е по важен от това което си изградил :-) Аз в момента правя нещо уникално и подкарах двете RTX 5090 на локален Ai като очаквам още 2 бройки до края на месеца но такъв неменажиран VPS хостинг какъвто изграждам в България досега няма. Поради едни мои изисквания се наложи да търся специализиран хостинг за имейл маркетинг и навсякъде ми отказаха за да не попданели ИП адресите им в блеклистата . Да обаче за един подобен хост цената от 20 евро на месец се вдига на 300 евро месечно и кандидати за плащане много.
 
то въпроса за какво ги използваш е по важен от това което си изградил :-) Аз в момента правя нещо уникално и подкарах двете RTX 5090 на локален Ai като очаквам още 2 бройки до края на месеца но такъв неменажиран VPS хостинг какъвто изграждам в България досега няма. Поради едни мои изисквания се наложи да търся специализиран хостинг за имейл маркетинг и навсякъде ми отказаха за да не попданели ИП адресите им в блеклистата . Да обаче за един подобен хост цената от 20 евро на месец се вдига на 300 евро месечно и кандидати за плащане много.
Знаеш че не съм голям фен на споделянето точно тука където всяка хиена и текат лигите и чака само да споделиш нещо и да те подкара колко било смотано, старо, тъпо, ненужно, лесно - за 5 минути работа, ама било с ИИ и т.н.
 
Знаеш че не съм голям фен на споделянето точно тука където всяка хиена и текат лигите и чака само да споделиш нещо и да те подкара колко било смотано, старо, тъпо, ненужно, лесно - за 5 минути работа, ама било с ИИ и т.н.
прав си .... имам личен опит от такива псевдохейтъри гастарбайтери дюнерджии и плочкаджии които са толкова нещастни в живота , че дори едно име на домейн не могат да измислят като нормалните хора
 

Горе