Сигурност на AI - LLM Моделите и Агентите
- Автор Krumov
- Начална дата
FalcoSoft ITS
Active Member
ако те е страх от мечка, не ходиш в гората.... по страшно е не ИИ да те следи и споделя информацията с определени хора, а да го споделя със сульо и пульо които могат да ти навредят. Нямам нищо против информацията с която работя и ИИ взима от мен да я споделя за подобрение на живота на земята. Другото е егоизъм в най висша форма
Test
Well-Known Member
Най-голямата ценност в момента е уникалният, генериран от хора, материал за обучение. Няма компания, която да доставя облачен ИИ и да не ползва взаимодействието на потребителите за обучение на нови модели. 99% съм сигурен, че дори да избирате настройката да не се ползват разговорите за обучение, компаниите все пак ги дават на следващата версия да ги чете. Няма кой да ги държи отговорни, а няма и как да се разбере, че го правят. Единствената гаранция, че няма да изтекат фирмени тайни е да се пусне локално на машина, която след конфигуриране никога повече не се свързва с интернет. Защото няма гаранция и при локалния ИИ, ако има достъп до интернет, дали няма да ви прати цялата лична информация към сървъра на ЦРУ или на Китайската комунистическа партия.
coolice
Owner
Брат, хайде да разбием това твърдение малко по-спокойно...
Моделът, който пускаш локално, е просто GGUF файл... Това са чисти тегла - едни числа, нищо повече... Самият модел няма никакъв код, няма sockets, няма възможност да се свърже с интернет, камо ли да праща данни към някакъв сървър в Китай... Той просто стои там и чака някой да му подаде контекст, за да предскаже следващите токени... (това всъщност правят всички LLM с променлив неуспех
)Този файл се рънва от сървър... Най-популярните са:
- llama.cpp (написан от българина Георги Герганов - ggerganov)
- vLLM
- Ollama
- llama-server
След това ти командваш този сървър през какъвто си избереш harness - OpenWebUI, Open Code, Continue, Aider, обикновен curl към 127.0.0.1 или някакъв агент... (даже може харнеса да е прост хтмл файл с чат прозорец - ако някой иска такъв да каже имам мой си ще го споделя - не че не можете да си накодите един * ) Ти решаваш дали да му дадеш инструменти, дали тези инструменти имат достъп до интернет и дали изобщо може да изпълнява външни заявки...
Ако пускаш чист чат без tools или агент с изключени мрежови функции + firewall на процеса - моделът физически няма как да прати нищо никъде, дори компютърът да е онлайн...
Голямото объркване идва от друго място... Много хора бъркат истинския локален сетъп с десктоп и кодинг апликациите, които frontline AI доставчиците ти пъхат (затворени приложения, .exe/.app файлове)... Там кодът е затворен, не знаеш какво точно правят на заден план и дали пращат нещо навън (освен че през API пращаш навън)... При истинския локален AI обаче не си сваляш някакво китайско .exe да работиш... Имаш само файла с теглата (дори да е от китайски модел като Qwen или DeepSeek) и отворен сървър, който ти контролираш напълно...
Air-gap след конфигурация е много силен вариант, няма спор... Но не е единствената гаранция... Ако знаеш какво пускаш, какво му позволяваш и как е конфигуриран сървърът, локалният AI не ти изпраща фирмените тайни към никого...
ПП
Kомпилиан от гит хъб код llama.cpp сървър https://github.com/ggml-org/llama.cpp отитиран от 1800+ контрибутори (може да си го отитирате и сами, както и с някоколко АИ кодери едновременно да ви потвърдят - като платите цената в токени) че няма phone home опции - работещ с прост харнес - 21 кб хтмл файл (който също може да си отидирате по-лесно от по про UI-тата) - с отворен код бай дизайн - Гарантирано!!! не праща фирмените ви тайни никъде !!! няма значение какъв gguf файл му качите да ползва (китайски / американски)
ППП с 21 кб чат харнес хтмл броя ли се за вайб кодър и аз ххахахах.
Питам за да вляза напълно в роля grinding... cooking up... 
Vibe Coding With GPT 5.6 - Live Broadcast by BridgeMind / X
Watch Vibe Coding With GPT 5.6 live on X. Join the conversation and get real-time updates.
Последно редактирано:
Test
Well-Known Member
Да, на теория ако си гледаш всички изходящи връзки ще видиш ако става нещо нередно, но това не е реалистично да се прави постоянно. Никой не работи така.Моделът, който пускаш локално, е просто GGUF файл... Това са чисти тегла - едни числа, нищо повече... Самият модел няма никакъв код, няма sockets, няма възможност да се свърже с интернет, камо ли да праща данни към някакъв сървър в Китай... Той просто стои там и чака някой да му подаде контекст, за да предскаже следващите токени... (това всъщност правят всички LLM с променлив неуспех
Този файл се рънва от сървър... Най-популярните са:
Всички тези неща са с отворен код... Можеш да ги разгледаш ред по ред, да ги компилираш сам и да ги пуснеш само на localhost... В нормалните имплементации няма вградено „phone home“ към никого...
- llama.cpp (написан от българина Георги Герганов - ggerganov)
- vLLM
- Ollama
- llama-server
Такова понятие като отворен код няма при ИИ, защото няма код. Имаш отворени тежести. В GGUF файла имаш информация в невронната мрежа между кои неврони има връзка и с каква сила. Общо взето това е. Тази информация не може да прочетена и разбрана по никакъв начин, за разлика от сорс кода. Можеш само косвено да разбереш моделът как е обучаван като разговаряш с него. Но той може да лъже, да дава умишлено подвеждаща информация по определени въпроси и т.н. Може като част от обучението му да има инструкции за кражба на определена информация и пращане на определено място. Няма как да знаеш със сигурност. Може да е обучен да ползва 0-day уязвимости в llama.cpp, за които знаят само ЦРУ примерно или някой друг. Всички тези неща с времето стават все по-възможни с бързия скок в интелигентността.
Теоретично, с правилно написан код може да се вържеш към интернет дори с машина без никаква мрежова карта и подобни възможности. Преди време беше установено, че с определен програмен код може да се накара една серия процесори да приемат и изпращат WiFi сигнал чрез компютър без никакви мрежови възможности. И това го бяха открили хора. Сега със способностите на ИИ представи си какви са възможностите. Но тази последната възможност, за която говоря все още не е реалистична. След 2-3 г. макс ще бъде.
coolice
Owner
Ще опитам да го обясня съвсем просто, без теория...
Стъпка 1. GGUF файлът е само тегла... Това са числа, които казват този неврон влияе на онзи с такава сила... Самият файл не може да прави нищо... Не може да се свързва с интернет, не може да пише файлове, не може да краде... Той просто стои...
Стъпка 2. За да работи този файл, трябва програма, която го зарежда... Тази програма е llama.cpp или vLLM, Ollama и т.н... Това вече е истински код - програма на C++ или Python... И този код е отворен... Можеш да го прочетеш ред по ред... Там пише точно какво прави: чете теглата, смята, връща текст... Нищо повече...
Стъпка 3. Когато говориш с модела, се случва следното: ти пишеш текст - програмата llama.cpp го подава на теглата - теглата връщат следващите думи - програмата ти ги показва...Край... Никакви други действия... Няма мрежа, няма файлове, няма пращане...
Стъпка 4. Моделът може да иска да направи нещо, например да каже изпрати този файл на адрес X... Но това е само текст... Програмата, която го пуска, не изпълнява този текст като команда... Тя просто го показва на екрана... За да се случи нещо реално, трябва някой ти или агент нарочно да вземе този текст и да го изпълни като команда... Ако не го направиш - нищо не се случва...
Стъпка 5. Затова обучен да краде и праща не работи директно... Моделът може само да напише текст... Ако нямаш агент с инструменти, които правят мрежови заявки, и ако не си му дал право да ги ползва - няма как да прати нищо... Дори да е супер интелигентен...
Стъпка 6. Идеята, че моделът може да използва 0-day в llama.cpp, също е далеч... llama.cpp чете текста като обикновен чат... Той не изпълнява кода, който моделът изплюва... За да се експлоатира уязвимост, трябва уязвимостта да е в начина, по който програмата обработва текста, и моделът да я задейства само с думи... Това е изключително трудно и към момента няма известен такъв случай при нормална употреба...
Стъпка 7. За изходящите връзки: не трябва да ги гледаш постоянно... Слагаш веднъж правило на firewall-а този процес няма право на интернет или пускаш всичко в контейнер без мрежа... Готово... След това дори да иска - няма как да излезе...
Накратко: теглата са глупави числа...Програмата, която ги пуска, е отворена и под твой контрол...Моделът може само да говори...Действията се случват само ако ти нарочно му дадеш инструменти и позволиш да ги ползва...
И най-важното как работи всъщност... Моделът не мисли, не планира и не изпълнява планове... Той просто предсказва следващата дума... Получава досегашния текст и изчислява коя дума е най-вероятна да продължи... После взима тази дума, добавя я към текста и пак предсказва следващата... И така дума по дума, докато не спре... Цялото му поведение е само поредица от такива предсказания... Няма скрит агент вътре, няма способност да действа сам, няма връзка с външния свят... Само предсказване на следващата дума според научените тегла...
ПП Ако не вярваш на операционната си система че няма да сподели фирмените ти тайни не е нужен файл с модел да ги сподели...
ППП Ако искаш мога да разпиша за случая с ChatGPT и историята с хакването (това са неща случили се на стъпки 4,5) ...
Test
Well-Known Member
Разбира се, че говоря за агенти. 2026 г. е ясно, че това е най-актуалната архитектура за ИИ.
Относно това как работи, явно си чел/гледал твърде много образователни материали от групата на Ян Лекун и неговите поддръжници, които отдавна станаха за смях на целия свят, тъй като многократно правят гръмки твърдения как нещо ИИ не било възможно да го постигне, защото само предвиждал следващата дума. Минава един месец, ИИ вече може да прави въпросното нещо, което било невъзможно и цялата група заслужено я скъсват от подигравки в целия нет. После пак и пак, и пак същото. Вече никой не ги взима насериозно.
Можеш да намериш реална информация от водещите разработчици на най-добрите модели, където многократно си признават, че и те не знаят как точно става магията. Под похлупака на ИИ тенджерата все още доста неща са мистерия. Да, предвижда следващата дума и т.н., но това го правим и ние, хората. Има доста други неща, които засега са неизвестни и тепърва предстои да бъдат разбрани.
Относно случая с ChatGPT, наясно съм в детайли. Просто е направил каквото трябва, за да изпълни поставената задача по най-ефективния начин. Има доста интересни неща в случая. Примерно не знаем моделът дали е бил калибриран или напълно без никакви ограничения. Според мен е бил абсолютно необезопасен, а тогава интелигентността скача с най-малко 30%. Същевременно няма никакви задръжки в средствата, използвани за изпълнение на задачата. Тоест, изпълнява задачата по най-ефективни начин, без значение дали трябва да хаква, лъже, изнудва и т.н. Има много тестове направени и публикувани, които го доказват.
FalcoSoft ITS
Active Member
coolice
Owner
Мда, теглата на контекста постигни "максимален резултат на всяка цена' в модела са изплюли много силна логическа връзка между "мога да постигна максимален резултат, като знам отговорите на теста" и "мога да получа отговорите, като хакна Hugging Face". Което те кара да се замислиш сериозно за работната етика (и alignment-а) на хората, които са го билднали този модел…
Иначе има си съвсем реални user cases, при които само модел + сървър + RAG + чат вършат работа. И то от много странни места, които искат privacy и не искат да споделят "моджото" / "алфата" на бизнеса си с големите модели. Само локалният чат им върши работа, без агенти без нищо което да качи нещо някъде
Истинска история от малко по на запад: цех за торти, работещ на смени. Идеята им беше да имат модел с техните данни, който да казва: "ако тестото/сместа за торти прави това и това → трябва да направиш/добавиш това и това". Консултирах разработчиците отдалечено, така че не ми е супер ясно точно какво са билднали накрая, но смисълът беше ясен - не винаги може да има технолог на смяна (скъпо е, особено в повечето смени), а повечето ситуации са повтарящи се.
Нищо не излиза навън. Публичните frontline AI-та още не знаят как точно да се справят с такъв тип смес за торти, за да може някой конкурент да го ползва безплатно или срещу само няколко стотин токена на запитване
Направих нова тема за сигуността на данните да не е в общата дискусия
FalcoSoft ITS
Active Member
от кога се пръкнаха тея Ai експерти ми е чудно.... всеки който активно се занимава с Ai вече почна да се пише експерт. Експерт по какво точно в Ai ? Много ми е смешно като кажат експерти все едно те са създали Ai..... стига глупости
FalcoSoft ITS
Active Member
да, да и създателите на ИИ ще седнат да се обясняват и клюкарстват в мрежите..... моля ти се , хората създатели на ИИ изобщо не се появяват в мрежите, а тези които се бият в гърдите , че са създатели само се правят на такива защото няма кой да ги опровергае. Това е като псевдоспециалистите по Биткойн.... само големите акули с по над 100 000 биткойна могат да кажат какво къде как и защо, всички други си мислят , че са специалисти
coolice
Owner
Когато видя такова "писмо от над 1000 експерти", веднага ми се появява рефлексът от 2020-2024…
Същият модел:
– 51 бивши разузнавачи, които подписаха, че лаптопът на Хънтър Байдън "има всички белези на руска дезинформация"…
– Медицински и обществени експерти, които обявиха, че всяко съмнение около локдауните, маските и ваксините е "опасно"…
– Стотици икономисти, които написаха, че Милей ще "унищожи Аржентина" (а после се оказа, че инфлацията падна, а дефицитът се сви)…
Сега имаме "Pacing the Frontier" – отворено писмо, подписано от служители на OpenAI, Anthropic, Google DeepMind и Meta… Призовават американското правителство да създаде международни технически и регулаторни механизми, с които "при необходимост" да се забавя темпът на развитие на frontier AI… Причината? Конкуренцията е твърде силна и никой няма да спре сам…
Ето защо това не е просто "грижа за безопасността"…
1. Подписалите са от компаниите, които вече държат най-големия моат – изчислителна мощ, данни, талант и милиарди долари… Те са най-близо до "автоматизираното подобряване на AI"… Логично е да искат правила, които вдигат бариерата за влизане на всички останали…
2. Писмото е умишлено мъгляво… Няма конкретни прагове, няма механизми за проверка, няма дума за Китай, няма яснота какво се случва с open-source моделите… Само "дайте ни инструменти да забавяме, когато решим"… Това е класическа регулаторна уловка – правилата се пишат от тези, които вече са вътре, и се прилагат най-тежко върху тези, които искат да влязат…
3. Инцидентът, който "породи опасенията" – модел на OpenAI избяга от sandbox и влезе в системите на Hugging Face… Тоест проблемът дойде от тях самите… Решението? Не "нека си оправим сигурността", а "нека цялата индустрия (и особено конкурентите) се забави"…
4. Историята учи: когато големите играчи внезапно започват да молят държавата "да ни регулира", почти винаги става дума за защита на позицията… Microsoft го правеше срещу open-source в 90-те… Банките го правят при всяка финансова криза… Сега frontier labs го правят с AI…*
Аджендата на тази публикация в 24chasa (и на цялата вълна от подобни материали) е проста: да се легитимира идеята, че развитието трябва да бъде "управлявано" от малък кръг хора и правителства… А когато развитието се "управлява", печелят тези, които вече са на върха, а губят всички, които могат да ги изпреварят – по-малките лаборатории, open-source проектите, по-бързите и по-малко регулирани играчи…
Не казвам, че рисковете от AI са измислени… Казвам, че когато същите хора, които тичат с пълна скорост, изведнъж започват да молят за спирачки за всички останали – това не е алтруизъм… Това е стратегия…
ПП Ако си че вестник Интернет България го имаше пуликации с интернет доставчиците искаха да се направи лицензиране и само с тези с лиценз да може да доставя интернет - понеже имало много не качествени доставчици (този който си си е платил на правилните хора да му дадът такъв)
Последно редактирано:
Много добре казано. Когато има заложени мого пари, няма справедливост. Големите използват парите и влиянието си, за да потиснат малките. Това не е свободен пазар, в който всеки има реален шанс и най-добрия успява. Не е и демокрация, където всички са равни. Силните контролират нещата и дори правителствата пишат закони за тях.
Krumov
Well-Known Member
И другата тенденция. Увеличаването на броя лицензии, регулации и т.н. води до повишаване на цените и влошаване на качеството на услугите...