@metaverse че си келеш го знаят всички и няма нужда да го доказвашвъв всяка тема!
Дървения сетъп беше лирично отклонение от темата!
А това е работния:
сървър: 4U ProLiant ML350p Gen8
CPU: 2x Intel(R) Xeon(R) CPU E5-2697 v2 @ 2.70GHz, общо 48 ядра
GPU: 3x Tesla P40 24GB VRAM
RAM: 272 GB
Цена: 1К
@metaverse този смешния сетъп ви го показах само за да разберете че става и с дървен хардур! Спрях майнера, смених ssd-to и толкова!
Аз използвам основно системата с 3-те тесли и една друга с rtx3080;
Да обобщя препоръките:
1. Видеокарти с много VRAM
2. Използвайте дъно на което всеки слот е реален 16x а не само физически; за тази цел сървърните са най подходящи
3. Препоръчително е да имате RAM повече общия VRAM и повече от сумата на паметта на инсталираните модели, особено ако има няколко...
Забравих да уточня, че тази конфигурация е абсолютно НЕПОДХОДЯЩА за целта по една основна причина:
всичките слотове на дъното са 16x,
НО само първия е напълно опроводен а останалите 5 слота работят като 1x
и съответно мемори трансфера е в пъти по-бавен и спъва всичко!
Понеже днеска е майсторски ден :) се излигавих и подкарах едно майнерско дъно с недъгав процесор и смешно малко рам; подкарах Qwen3-Coder и веб интерфейса и за лиготията работи,
НОоооо отговаря с 2-3 символа в секунда 🤣
#! прецаках се да ъпгрейдна до последна версия и отказа да използва двата...
@coolice разказал съм ти на лично :)
а публичната препоръка за теб:
qwen2.5-coder:32b
Това е 32B модела с Q4_K_M квантизация --> ще използва (ако имаш) около 20-22 GB VRAM и ще се разпредели между картите ако са няколко.
Ако нямаш сървърни карти подкарай дектоп машина с няколко карти и опитай...
@coolice даже става и с по "дървени" карти :) аз подкарах на един сървър с 272GB RAM и 3 броя Tesla P40 и съм доволен от скороста с която работят моделите.
Избрах тези карти защото всяка е с 24GB VRAM и бяха на добра цена за тестване на идеята :) и всички модели се събират във VRAM-a на картите.
благодаря, но аз ги чеквам при регистранта и няма проблем с тази "грешка" :) защото според бюджета (моя или на клиента ми) решавам дали ме устройва покупката.