Локално AI - homelab

Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.
 
Sky каза:
Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.
Увеличете...
За бизнес оправдани цели ок! Но темата е за хоум :) Що не се разприказвате и за инвестираните кинти?!? Ти скай ще дадеш ли 5 хилки за тест в мазето? Аре бегайте отворковци!
 
Последно редактирано:
Ето и мойте 5 стотинки по темата. Локален AI e възможен и на „евтин“ хардуер – Raspberry Pi 5 + Hailo-8, експериментирам с edge AI система, базирана на:
  • Raspberry Pi 5 (16GB RAM)
  • Hailo-8 AI Accelerator (~26 TOPS INT8)
  • Raspberry Pi HQ Camera + 50mm обектив
  • SSD за запис на данни и dataset логове

Какво реално може да прави, това не е LLM setup, а vision-first AI pipeline:
  • Real-time object detection (YOLOv8 INT8)
  • Edge inference директно на устройството (без cloud)
  • Multi-object tracking (Kalman filter + IOU association)
  • Камера pipeline с ниска латентност (HQ camera/Picamera2 / OpenCV)
  • Локално логване и събиране на dataset за допълнително обучение
Реална производителност:
  • ~40 до 80 FPS end-to-end inference pipeline
  • ~15–40 ms latency на frame
  • стабилно real-time проследяване на обекти
  • без GPU клас хардуер
 
Колегите (@metaverse и @Sky ) който могат да пишат само промотове да не се изказват неподготвени!
Не случайно ви беше казано че машината трябва да има повече RAM отколкото им трябва на моделите защото в първите версии в конфигите изрично се разрешаваше да се изполва RAM ако VRAM-а не стига! А сега вече е пълен автомат - използва се GPU, CPU, VRAM и RAM едновременно и всеки модел се подкарва ако имаш RAM; да, десетки пъти по-бавно работи, но работи!
Моля колегите който не са сетъпвали а само пишат промотове да не се излагат!

@coolice добави колкото можеш повече RAM и не слушай невежите. Когато разбереш че модела ти върши работа инвестирай във видеокарти!
 
@DeathShuttle за 4-ти път - съгласен съм, че за заигравка да видиш кое как работи е повече от ок. :) Обаче с 5-10tps и с някой лоботимизиран модел какво точно можеш да правиш с примерния стак, който "става"? Да му делегираш да пише баш скриптове ли?

Дайте някое видео за нещо реално и полезно, което може да прави.

П.С. - колко струват въпросните P40, g8-цата, двата процесора, рамта и тока за тях за 1-2г.? Да не излезе, че един MacBook Pro с М5 e по-малко пари? ;)
 
metaverse каза:
@DeathShuttle за 4-ти път - съгласен съм, че за заигравка да видиш кое как работи е повече от ок. :) Обаче с 5-10tps и с някой лоботимизиран модел какво точно можеш да правиш с примерния стак, който "става"? Да му делегираш да пише баш скриптове ли?

Дайте някое видео за нещо реално и полезно, което може да прави.

П.С. - колко струват въпросните P40, g8-цата, двата процесора, рамта и тока за тях за 1-2г.? Да не излезе, че един MacBook Pro с М5 e по-малко пари? ;)
Увеличете...
пропусна да се похвалиш за колко хиляди евро си си купил MacBook Pro с М5..... почнал си да забравяш важните неща в живота си
:)
 
MegaKaloyan каза:
пропусна да се похвалиш за колко хиляди евро си си купил MacBook Pro с М5..... почнал си да забравяш важните неща в живота си
:)
Увеличете...
@metaverse Забрави пак да се похвалиш че изполваш акаунт за $200/месец на Antrophic а това с М5-цата е само са надуване на балона на собственото ти его!
 
metaverse каза:
@DeathShuttle за 4-ти път - съгласен съм, че за заигравка да видиш кое как работи е повече от ок. :) Обаче с 5-10tps и с някой лоботимизиран модел какво точно можеш да правиш с примерния стак, който "става"? Да му делегираш да пише баш скриптове ли?

Дайте някое видео за нещо реално и полезно, което може да прави.

П.С. - колко струват въпросните P40, g8-цата, двата процесора, рамта и тока за тях за 1-2г.? Да не излезе, че един MacBook Pro с М5 e по-малко пари? ;)
Увеличете...
@metaverse Затвори си плювалника и важ датите на покупките! По това време още не си и чувал за ИИ!!!
Моите фирми се занимават със софтуер и хардуер! Цените на хардуера към мен не са като на залюпени юзери като теб! Да не говорим че държа наличности и мога да ги използвам докато им се намери купувач!
 

Прикачени файлове

  • iluvconverter.jpg
    iluvconverter.jpg
    219.5 KB · Преглеждания: 2
DeathShuttle каза:
@metaverse Забрави пак да се похвалиш че изполваш акаунт за $200/месец на Antrophic а това с М5-цата е само са надуване на балона на собственото ти его!
Увеличете...
M5, ама MAX, да си имаме уважението!

И това $200 е без ДДС.

Недейте така да омаловажавате нещата, моля.
 
DerkonBG каза:
@metaverse Затвори си плювалника и важ датите на покупките! По това време още не си и чувал за ИИ!!!
Моите фирми се занимават със софтуер и хардуер! Цените на хардуера към мен не са като на залюпени юзери като теб! Да не говорим че държа наличности и мога да ги използвам докато им се намери купувач!
Увеличете...

Къде са г8-цата, рамта, останалите компоненти и тока за поне 2-3г. напред? ;) Или те нямат значение към цената?

Никъде не видяхме видео с демонстрация за перформънс и реална свършена работа сравнена с алтернативни варианти. 🤷‍♂️

Цялата "дискусия" започна, защото попитах какъв перформъс докарват двата сетъпа за да можем да преценим дали си струва упражнението за нещо повече от играчка.

DeathShuttle каза:
@metaverse Забрави пак да се похвалиш че изполваш акаунт за $200/месец на Antrophic а това с М5-цата е само са надуване на балона на собственото ти его!
Увеличете...

Мога и още. Ценя времето си и знам кое е най-доброто за работата, която върша.

Screenshot 2026-04-11 at 15.37.52.png
 
metaverse каза:
Къде са г8-цата, рамта, останалите компоненти и тока за поне 2-3г. напред? ;) Или те нямат значение към цената?

Никъде не видяхме видео с демонстрация за перформънс и реална свършена работа сравнена с алтернативни варианти. 🤷‍♂️

Цялата "дискусия" започна, защото попитах какъв перформъс докарват двата сетъпа за да можем да преценим дали си струва упражнението за нещо повече от играчка.



Мога и още. Ценя времето си и знам кое е най-доброто за работата, която върша.

Виж файлът 36127
Увеличете...
както всички виждаме си най-големия самохвалко в този форум.... и аз мога да ти направя скрийншот на корела с доста повече нули от твоите... да не говорим колко плащам месечно за 92 VPS сървъра, че твоя MacBook Pro с М5 ще ти се струва като тамагочи ако разбереш...
 
Накарах царя на актуалното AI Грок да ми генерира цени и оферти... модела 120б който искам да рънвам е Nemotron 3 Super 120b

M5 Max може да добър ама и цената е добра StrixHalo от първия пост на BossGame остава най доброто решение от към цена, ако не искам PCIe ботълнек от 10-15 токена... или чакаме новата серия AMD процесори да видим как ще е ...

ПП Интел и че са си направили софта да поддържа до 8 карти B50 (всяка е 70 вата и работи с ток от слота )

Screenshot 2026-04-11 at 15.33.20.png

Май ще тествам и как е оллама клауда в следващите дни
 
metaverse каза:
Мога и още. Ценя времето си и знам кое е най-доброто за работата, която върша.

Виж файлът 36127
Увеличете...
На не-програмистите им трябват най-големите модели и най-скъпите планове, понеже промптовете им са твърде общи и абстрактни и на AI-то му трябва много мислене и циклаж докато стигне докъдето иска юзъра.

Наскоро имаше видео с един индиец дето каза че даже не знае синтаксиса на програмния език, обаче си е купил 12 x $200 Codex плана и ги е набримчил да циклят едновременно и да се опитват да го разберат какво иска тоя мургав идиот от другата страна на екрана и да се напъват да му уйдисат...

-

А програмист може да мине МНОГО по-тънко, понеже заданията могат да са много конкретни и упътващи, и съответно по-евтините и бързи модели са достатъчни. Описва се общ план в .md-тата, разделя се на микрозадачи и се подават на AI-то...

... Докато ламерът вкарва "Напиши ми система за скамерски кол-център, където ботовете отговарят автоматично и убеждават юзъра да си даде данните на кредитната карта!"
 
Последно редактирано:
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе