Ще вземе ли хляба от ръцете ни изкуствения интелект?

Sky каза:
колко паралелни разговора може да поддържаш с карти?
Увеличете...
тук изобщо не става дума да подържам разговори, а за създаване на видео съдържание или по точно сериали. Няма да хабя ценната техника за глупости.
 
FalcoSoft ITS каза:
тук изобщо не става дума да подържам разговори, а за създаване на видео съдържание или по точно сериали. Няма да хабя ценната техника за глупости.
Увеличете...
E нали в дейтинга щеше да правиш AI girlfriend?
 
Sky каза:
E нали в дейтинга щеше да правиш AI girlfriend?
Увеличете...
Според мен това е много бейсик, не отговаря на интергалактическите заявки.
 
с 4 × RTX 5090 можем да обслужваме десетки едновременно генерирани отговори и значително повече активни текстови разговори. Точният капацитет обаче зависи от модела, дължината на историята и колко бързо искаме да отговаря.

Важно е да разграничим:

  • Активни разговори: хората четат, мислят и пишат. През това време не е нужно видеокартите постоянно да изчисляват отговор за всеки.
  • Едновременно генериране: например 50 души изпращат съобщение почти едновременно и AI трябва да отговори на всички.
Има публикуван тест на точно четири RTX 5090, който дава полезен ориентир. ARK Labs съобщава следните резултати със своята конфигурация на Qwen3.5‑122B‑A10B:

Едновременно генерирани отговориОтчетена скорост за всеки
16около 34 токена/секунда
32около 26 токена/секунда
64около 24 токена/секунда
Това е тест на доставчика, а не измерване на нашия бъдещ сървър. Използвани са кратки входни заявки и дълги отговори; продължителните разговори на български ще имат различно натоварване. Публикуваните измервания.

За BGDating броят хора може да е доста по-голям от броя едновременни генерации. Ето условен пример за планиране:

  • Ако нашата конфигурация постигне 600 изходни токена/секунда при реалните разговори;
  • средният отговор е 100 токена;
  • всеки потребител получава един отговор в минута;
това прави средно 360 обслужвани потребители, или около 180 при оставен 50% резерв за пикове. Това е сметка по допускания, не обещан капацитет на картите.

Всяка 5090 има 32 GB видеопамет — общо 128 GB в четирите карти, разпределени между тях. Част от паметта отива за модела, друга — за обработваните разговори. Спецификации на NVIDIA.

Ако избраният модел се побира на една карта с достатъчно място за разговорите, можем да пуснем четири негови копия и да разпределяме потребителите. По-голям модел може да изисква няколко карти за едно копие. Документация на vLLM.

За първоначалното планиране бих мислил за стотици активни текстови чатове. Преди да обещаем конкретна бройка, трябва да измерим избрания модел с реалистична българска история и приемливо време за отговор. Това предполага, че четирите карти обслужват чата, без паралелно обучение или генериране на видео.
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе