Локално AI - homelab

Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.
 
Sky каза:
Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.
Увеличете...
За бизнес оправдани цели ок! Но темата е за хоум :) Що не се разприказвате и за инвестираните кинти?!? Ти скай ще дадеш ли 5 хилки за тест в мазето? Аре бегайте отворковци!
 
Последно редактирано:
Ето и мойте 5 стотинки по темата. Локален AI e възможен и на „евтин“ хардуер – Raspberry Pi 5 + Hailo-8, експериментирам с edge AI система, базирана на:
  • Raspberry Pi 5 (16GB RAM)
  • Hailo-8 AI Accelerator (~26 TOPS INT8)
  • Raspberry Pi HQ Camera + 50mm обектив
  • SSD за запис на данни и dataset логове

Какво реално може да прави, това не е LLM setup, а vision-first AI pipeline:
  • Real-time object detection (YOLOv8 INT8)
  • Edge inference директно на устройството (без cloud)
  • Multi-object tracking (Kalman filter + IOU association)
  • Камера pipeline с ниска латентност (HQ camera/Picamera2 / OpenCV)
  • Локално логване и събиране на dataset за допълнително обучение
Реална производителност:
  • ~40 до 80 FPS end-to-end inference pipeline
  • ~15–40 ms latency на frame
  • стабилно real-time проследяване на обекти
  • без GPU клас хардуер
 
Колегите (@metaverse и @Sky ) който могат да пишат само промотове да не се изказват неподготвени!
Не случайно ви беше казано че машината трябва да има повече RAM отколкото им трябва на моделите защото в първите версии в конфигите изрично се разрешаваше да се изполва RAM ако VRAM-а не стига! А сега вече е пълен автомат - използва се GPU, CPU, VRAM и RAM едновременно и всеки модел се подкарва ако имаш RAM; да, десетки пъти по-бавно работи, но работи!
Моля колегите който не са сетъпвали а само пишат промотове да не се излагат!

@coolice добави колкото можеш повече RAM и не слушай невежите. Когато разбереш че модела ти върши работа инвестирай във видеокарти!
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе