Дори ТИ да го пуснеш няколко пъти няма как да получиш еднакви снимки. LLM-ите не са детерминистични и това е основния проблем с ИИ в момента.
Ако му дадеш да сметне 1+1 100,000,000,000 пъти без достъп до външен posix инструмент (примерно) много голям процент от резултатите няма да върнат 2. През чатчетата, които цъкате всичките имат и пак не е достатъчно.
Т.е. примерно не да смята с bash (awk 'BEGIN {print 1 + 1}' или expr 1 + 1 все тая има хиляда варианта), а LLM-a да използва единствено основни математически принципи.
А докато не се реши детерминистичността ИИ никога няма да спре да халюцинира. Със сегашната трансформър архитектурата фундаментално няма как да стане.
Най-вероятно ще минат някакви години преди да има ново откритие, но аз лично се съмнявам, че ще е скоро, защото трябват няколко поколения по-бърз хардуер.
По принцип може до някаква степен резултатите да станат по-детерминистични, когато се вкарват правила и връзки в контекста ама пак никога няма да има 100% надеждни резултати, защото контекстния прозорец все още е много малък. 10 милиона токена нищо не са.
Например ако пишеш код да имаш е2е тестове, които проверяват абсолютно всичко до най-дребния детайл. Това правят и повечето frameworks, които сега се създават.
