Да, на теория ако си гледаш всички изходящи връзки ще видиш ако става нещо нередно, но това не е реалистично да се прави постоянно. Никой не работи така.
Такова понятие като отворен код няма при ИИ, защото няма код. Имаш отворени тежести. В GGUF файла имаш информация в невронната мрежа между кои неврони има връзка и с каква сила. Общо взето това е. Тази информация не може да прочетена и разбрана по никакъв начин, за разлика от сорс кода. Можеш само косвено да разбереш моделът как е обучаван като разговаряш с него. Но той може да лъже, да дава умишлено подвеждаща информация по определени въпроси и т.н. Може като част от обучението му да има инструкции за кражба на определена информация и пращане на определено място. Няма как да знаеш със сигурност. Може да е обучен да ползва 0-day уязвимости в llama.cpp, за които знаят само ЦРУ примерно или някой друг. Всички тези неща с времето стават все по-възможни с бързия скок в интелигентността.
Теоретично, с правилно написан код може да се вържеш към интернет дори с машина без никаква мрежова карта и подобни възможности. Преди време беше установено, че с определен програмен код може да се накара една серия процесори да приемат и изпращат WiFi сигнал чрез компютър без никакви мрежови възможности. И това го бяха открили хора. Сега със способностите на ИИ представи си какви са възможностите. Но тази последната възможност, за която говоря все още не е реалистична. След 2-3 г. макс ще бъде.
Ще опитам да го обясня съвсем просто, без теория...
Стъпка 1. GGUF файлът е само тегла... Това са числа, които казват този неврон влияе на онзи с такава сила... Самият файл не може да прави нищо... Не може да се свързва с интернет, не може да пише файлове, не може да краде... Той просто стои...
Стъпка 2. За да работи този файл, трябва програма, която го зарежда... Тази програма е llama.cpp или vLLM, Ollama и т.н... Това вече е истински код - програма на C++ или Python... И този код е отворен... Можеш да го прочетеш ред по ред... Там пише точно какво прави: чете теглата, смята, връща текст... Нищо повече...
Стъпка 3. Когато говориш с модела, се случва следното: ти пишеш текст - програмата llama.cpp го подава на теглата - теглата връщат следващите думи - програмата ти ги показва...Край... Никакви други действия... Няма мрежа, няма файлове, няма пращане...
Стъпка 4. Моделът може да иска да направи нещо, например да каже изпрати този файл на адрес X... Но това е само текст... Програмата, която го пуска, не изпълнява този текст като команда... Тя просто го показва на екрана... За да се случи нещо реално, трябва някой ти или агент нарочно да вземе този текст и да го изпълни като команда... Ако не го направиш - нищо не се случва...
Стъпка 5. Затова обучен да краде и праща не работи директно... Моделът може само да напише текст... Ако нямаш агент с инструменти, които правят мрежови заявки, и ако не си му дал право да ги ползва - няма как да прати нищо... Дори да е супер интелигентен...
Стъпка 6. Идеята, че моделът може да използва 0-day в llama.cpp, също е далеч... llama.cpp чете текста като обикновен чат... Той не изпълнява кода, който моделът изплюва... За да се експлоатира уязвимост, трябва уязвимостта да е в начина, по който програмата обработва текста, и моделът да я задейства само с думи... Това е изключително трудно и към момента няма известен такъв случай при нормална употреба...
Стъпка 7. За изходящите връзки: не трябва да ги гледаш постоянно... Слагаш веднъж правило на firewall-а този процес няма право на интернет или пускаш всичко в контейнер без мрежа... Готово... След това дори да иска - няма как да излезе...
Накратко: теглата са глупави числа...Програмата, която ги пуска, е отворена и под твой контрол...Моделът може само да говори...Действията се случват само ако ти нарочно му дадеш инструменти и позволиш да ги ползва...
И най-важното как работи всъщност... Моделът не мисли, не планира и не изпълнява планове... Той просто предсказва следващата дума... Получава досегашния текст и изчислява коя дума е най-вероятна да продължи... После взима тази дума, добавя я към текста и пак предсказва следващата... И така дума по дума, докато не спре... Цялото му поведение е само поредица от такива предсказания... Няма скрит агент вътре, няма способност да действа сам, няма връзка с външния свят... Само предсказване на следващата дума според научените тегла...
ПП Ако не вярваш на операционната си система че няма да сподели фирмените ти тайни не е нужен файл с модел да ги сподели...
ППП Ако искаш мога да разпиша за случая с ChatGPT и историята с хакването (това са неща случили се на стъпки 4,5) ...
)
Питам за да вляза напълно в роля grinding... cooking up... 
www.asus.com
