@coolice даже става и с по "дървени" карти
аз подкарах на един сървър с 272GB RAM и 3 броя
Tesla P40 и съм доволен от скороста с която работят моделите.
Избрах тези карти защото всяка е с 24GB VRAM и бяха на добра цена за тестване на идеята
и всички модели се събират във VRAM-a на картите.
Ако не е тайна — колко ти излезе този сетъп, защото и на втора ръка в момента цените нон-стоп играят? И какви модели рънваш?
Аз доста по-скромно го раздавам, но се оказа, че старото ми гейминг лаптопче става за лек кодинг — Nvidia 4060 8GB и 32 GB RAM. Чудех се дали да не ги ъпгрейдна до 64, но като видях как са надули цените и на RAM-а за лаптоп (x5), си викам: ще почакам....
Като модели съм пробвал qwen2.5-coder 7b, qwen3-coder 30b MoE (този тръгна добре, защото въпреки че е голям, заради начина, по който се зареждат параметрите) и deepseek-coder 2.5 16b lite q4 компресия...
Леките ми впечатления: ако зададеш точно какво искаш да промени, и трите се справиха добре. Ако само опиша какво искам на bash... qwen2.5-coder 7b сътвори същото като deepseek-coder 2.5 16b, а qwen3-coder 30b отиде малко above and beyond — добави опционален logging в скрипта и крон командата, без да съм го питал
Нямах време да си играя с повече модели и езици, практически ползвам bash... Използвах ги да ми пренапишат малко bash скриптове и останах доста доволен....
Иначе ако ми се инвестираше в АИ машинка за големи модели без да харчи и грее кат духалка 1 кв, отиваме на тиим ред...
Ей това съм си харесал:
High-p The M5 is a high-performance AI Mini PC powered by the AMD Ryzen AI Max+ 395 processor with 16 cores and 32 threads. It features integrated Radeon 8060S Graphics, delivering powerful computing and smooth visuals without a dedicated GPU. Compact yet capable, the M5 is built for AI tasks...
www.bosgamepc.com
въпроса е за колкото кодя трябва ли да дам толкова пари а не се сещам за какво да го ползвам ефективно...
Малко по слабо е от твоя сетъп с три стари карти но пак може да рънва големи модели 70Б и пти 24/7 ще е само 150-200 вата (30-40 лв на месец за ток вместо около 200+ на сетъп като твоя)
