Локално AI - homelab

[DeathShuttle]

@Blinky и @coolice отворете един специален раздел за разбирачи като @metaverse за да си избива комплексите и да не спами излишно останалите теми във форума!

 

[Sky]

Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.

 

[DeathShuttle]

Tesla сетъпът с 3×p40 е ок за малки и средни модели, ще вървят навярно бързо и стабилно.
Обаче при по-големите ще са ограничени и тук M5 Max 128GB RAM ше се държи по-добре.

Това казва метавеср, не виждам какво наскачахте.

За бизнес оправдани цели ок! Но темата е за хоум Що не се разприказвате и инвестираните кинти?!? Ти скай ще дадеш ли 5 хилки за тест в мазето? Аре бегайте отворковци!

 

[Krumov]

Ето и мойте 5 стотинки по темата. Локален AI e възможен и на „евтин“ хардуер – Raspberry Pi 5 + Hailo-8, експериментирам с edge AI система, базирана на:

• Raspberry Pi 5 (16GB RAM)
• Hailo-8 AI Accelerator (~26 TOPS INT8)
• Raspberry Pi HQ Camera + 50mm обектив
• SSD за запис на данни и dataset логове

Какво реално може да прави, това не е LLM setup, а vision-first AI pipeline:

• Real-time object detection (YOLOv8 INT8)
• Edge inference директно на устройството (без cloud)
• Multi-object tracking (Kalman filter + IOU association)
• Камера pipeline с ниска латентност (HQ camera/Picamera2 / OpenCV)
• Локално логване и събиране на dataset за допълнително обучение

Реална производителност:

• ~40 до 80 FPS end-to-end inference pipeline
• ~15–40 ms latency на frame
• стабилно real-time проследяване на обекти
• без GPU клас хардуер