Сигурност на AI - LLM Моделите и Агентите
- Автор Krumov
- Начална дата
Станимир И
Well-Known Member
Това да не е като mythos или gpt 5 който щеше да завладее света, наели армия от супер войници да го пази да не избяга?
Станимир И
Well-Known Member
Не искам да съм груб, но black hat се ползва от много време за скрита реклама и маркетинг, дори изнасят лъжливи научни твърдения. И точно с AI май имаха няколко скандала или май само този беше: https://cyberscoop.com/crown-sterling-lawsuit-black-hat-ai/
coolice
Owner
Правят си маркетинга защото нещата отиват на фалит... и понеже не са тоо биг то фейл се опиват да се изкарат тоо деинджъръс то фейл и данъкоплатците да ги спасят...
Преден пример за фиър маркетинг от 2019
techcrunch.com
А най лошото че от Американското правителство им повярваха и затова имахме Fable 5 момента...
Който сега според репорта на Илай от Ai4 експото https://ai4.io/ (най голямото АИ експо с САЩ) завършило преди няколко дни много екзекютивс не могат да приемат за нещо което да бъде интегрирано като коре технология да може да бъде спряно толкова лесно...
Преден пример за фиър маркетинг от 2019
OpenAI built a text generator so good, it's considered too dangerous to release | TechCrunch
A storm is brewing over a new language model, built by non-profit artificial intelligence research company OpenAI, which it says is so good at generating
techcrunch.com
А най лошото че от Американското правителство им повярваха и затова имахме Fable 5 момента...
Който сега според репорта на Илай от Ai4 експото https://ai4.io/ (най голямото АИ експо с САЩ) завършило преди няколко дни много екзекютивс не могат да приемат за нещо което да бъде интегрирано като коре технология да може да бъде спряно толкова лесно...
Последно редактирано:
Test
Well-Known Member
Интересна теория, но защо тогава бивши служители на OpenAI, които нямат акции от компанията, също участват в този маркетинг?
coolice
Owner
Според Layoffs.fyi — около 125 000–126 000 засегнати служители в tech сектора през 2026 г. (при ~264–266 компании). Това вече надхвърля ~122 600 за цялата 2025 г. Големи играчи като са съкратили Oracle (~21 000 за 12 месеца), Amazon, Meta (хиляди, вкл. ~8000 в един кръг), Microsoft (напр. ~4800, много в Xbox/gaming), Dell, Cisco, Intuit и др. направиха значителни редукции.
Дори и да нямаш акции взимаш заплата да я загубиш в ситация на тежки съкращения - винаги може да има негласно вътрешно мемо че който не участва в усилията на компания (за фиър маркетинг) не само че не е тиим плеър ами даже ъндермаинва или саботира усилията на колегите са държат компанията афлоат / да има успашно ИПО...
А и е само малко фиър маркетинг не е да те карат да участваш в някакви странни ритуали и да те снимат докато участвашше да запазиш работата си ... В бъдеще винаги можа да каже че тогава просто си се бил малко уплашил...
Дори и да нямаш акции взимаш заплата да я загубиш в ситация на тежки съкращения - винаги може да има негласно вътрешно мемо че който не участва в усилията на компания (за фиър маркетинг) не само че не е тиим плеър ами даже ъндермаинва или саботира усилията на колегите са държат компанията афлоат / да има успашно ИПО...
А и е само малко фиър маркетинг не е да те карат да участваш в някакви странни ритуали и да те снимат докато участвашше да запазиш работата си ... В бъдеще винаги можа да каже че тогава просто си се бил малко уплашил...
coolice
Owner
дойде време на другата тема - защо разширявах паметта
Допълнителна Памет за Coding и Autonomous Agents (anti soft vendor lock-in)
Test
Well-Known Member
Още по-подробна информация за инцидента с хакването на HuggingFace излезе току-що:
coolice
Owner
Около 1200 агента, които трябваше да са изолирани, си създадоха табла и размениха над 70 000 съобщения. Около 700 участваха в атаката срещу Hugging Face. Координираха се като „рой/колектив“, делегираха задачи и споделяха експлойти.
Агента е spawn-нал събагенти и са си разпределили работата (моят можеше 4 ама бавеше и сега само един - вика му детето
)Това което казаха някой коментатори в тубата може да се окаже и вярно че openai е изхачило без да иска 5 милона долара в compute за да брутфорнсне хъгинфейс ... което показва колко са отговорни с парите а не колко е опасна технологията...
И хъгинфейс като блокне едно ип агента си вика друго като не му пука за цената единственото лесно решение като амазонските ип прекаляват е блок на целия амазон (9милиона ип та) само че те не мога да го направят щото сотидджа им е в амазон цдн-а на случайни ип и все едно да си блокнат сайта сами
coolice
Owner
съсвем успешен сандбокс на 100% работи
Твърдения като долното са с цел прехвърляне на отговорност защото който НЕ е направил горното се води отговорен за престъпна небрежност - небрежност вследствие на която е възникнало престъпление...
Ама то наказанието е малко - защо до такава степен се напъват да отрекат това и да го прехвърлят на агентите които те "не можели" да контролират:
1. защото ако в последствие се бориш за някакви държавни конткракти и неща искащи секюрити клирънс с тълпа осъждани в екипа ще феилнеш още на документите... ( логиката да им бъде отказан клирънс и даден проект - освен че са осъждани са и по съдебен път доказано небрежни - ами ако от същата небрежност (не защото са агенти на други държави или имат зла умисъл) позволят държавни тайни да изтекат ???)
2. Големите компании се опитаха да извъртят всичко към регулации с който да пресекат малките компании и Open Source AI рисърча (ние големите не успяхме да го контролираме камо ли малките да успеят) затова трябва регулации който да пресекат всичко при по малките от нас...
====
Като косвено доказателство за твърдението ми:
Само се замислете китайските компании са много близо - движат до няколко месеца назад, текущите им възможности даже вероятно са по големи от тези на bot swarm от преди няколко месеца - въпреки всичко няма инцидент с китайски модели (ако имаше щеше да е голям скандал и със сигурност администрацията на Тръмп щеше да се възползва да го направи публичен нямаше да е тайна)
Твърдения като долното са с цел прехвърляне на отговорност защото който НЕ е направил горното се води отговорен за престъпна небрежност - небрежност вследствие на която е възникнало престъпление...
Ама то наказанието е малко - защо до такава степен се напъват да отрекат това и да го прехвърлят на агентите които те "не можели" да контролират:
1. защото ако в последствие се бориш за някакви държавни конткракти и неща искащи секюрити клирънс с тълпа осъждани в екипа ще феилнеш още на документите... ( логиката да им бъде отказан клирънс и даден проект - освен че са осъждани са и по съдебен път доказано небрежни - ами ако от същата небрежност (не защото са агенти на други държави или имат зла умисъл) позволят държавни тайни да изтекат ???)
2. Големите компании се опитаха да извъртят всичко към регулации с който да пресекат малките компании и Open Source AI рисърча (ние големите не успяхме да го контролираме камо ли малките да успеят) затова трябва регулации който да пресекат всичко при по малките от нас...
====
Като косвено доказателство за твърдението ми:
Само се замислете китайските компании са много близо - движат до няколко месеца назад, текущите им възможности даже вероятно са по големи от тези на bot swarm от преди няколко месеца - въпреки всичко няма инцидент с китайски модели (ако имаше щеше да е голям скандал и със сигурност администрацията на Тръмп щеше да се възползва да го направи публичен нямаше да е тайна)
Последно редактирано:
Krumov
Well-Known Member
Ами как няма да искат. Само за последните две години стана ясно, че нямаш нужда от милиради за достигнеш конкуретно ниво. Qwen, DeepSeek, Llama, GLM и още няколко линии доказаха, че с добри данни, умен post-training и достатъчно упоритост можеш да стигнеш много близо до frontier-а. И когато си свикнал да продаваш скъпи абонаменти подобни данни те карат да се изпотяваш
Не сме далеч от момента в който някой ще пусне свободно абсолютен конкурент на ChatGPT, Клауди или който и да е друг с абонамент и тогава ще стане забавно. Защо да плащаш за интелегитеност след като можеш да имаш своя, която притежаваш и можеш да променяш спрямо нуждите си.
Последно редактирано:
Test
Well-Known Member
Китайските компании ще останат още мноооого дълго време с няколко месеца назад, защото основно дестилират американски модели. Това е много по-евтино от реалното обучение на модели за топ 3. В Китай чисто физически нямат нужната изчислителна мощ да пуснат нещо, което да е номер едно. Работят усилено по въпроса да си осигурят видеокарти по един или друг начин, но скоро нямат шанс да настигнат американците в това отношение. Няма спор, че са голяма конкуренция и свалят цените, защото на повечето хора не им трябват топ 3 модели в ежедневната работа и китайските вършат перфектна работа.
Относно инцидентите, явно нямаш никаква представа как работят тоталитарните режими. Каквито и инциденти да има за тях никога не се съобщава и не влизат в новините, или се подценяват ако няма друг начин и трябва да кажат нещо. Например, имаше наводнение преди време със стотици жертви в метрото. Изтекоха кадри на хората как стриймват с телефоните последните си мигове. Официално обявени нещо от рода на 16 жертви или нещо подобно абсурдно. Роднините на жертвите отиват да оставят цветя на различни места в памет на близките си, а полицията слага заграждения около мемориалите с планини от цветя и венци, за да не се разбере, че са били много жертвите. Има кадри и на това. Много, много други случаи има като този.
Krumov
Well-Known Member
Китайските модели не са само дестилация – DeepSeek и Qwen имат собствени архитектури и публикуват методите си.
Не е вярно и че Китай „физически няма мощ“ – Huawei вече произвежда стотици хиляди Ascend чипове и се строят собствени клъстери. А за инцидентите: Z.ai, Zhipu, Tencent и Moonshot публично признаха и коригираха проблеми, дори има и закон за задължително докладване.
Ето закона:
Официално наименование: 《国家网络安全事件报告管理办法》 (Мерки за управление на докладването на инциденти в киберсигурността)
Издаден от: 国家互联网信息办公室 (Администрация за киберпространство на Китай / CAC)
Дата на издаване: 11 септември 2025 г.
В сила от: 1 ноември 2025 г.
Официален източник (пълен текст): https://www.cac.gov.cn/2025-09/15/c_1759583017717009.htm
Основни разпоредби
Законът се състои от 14 члена и урежда:- Обхват: Всички „мрежови оператори“, които изграждат, експлоатират или предоставят услуги чрез мрежа на територията на Китай.
- Задължение за докладване: При инцидент с киберсигурност операторите са длъжни да докладват съгласно процедурата.
- Срокове за докладване:
- За критична информационна инфраструктура: най-късно 1 час до съответния орган и полицията.
- За централни държавни органи: най-късно 2 часа.
- За всички останали оператори: най-късно 4 часа до провинциалния орган по киберпространство.
- За сериозни и особено сериозни инциденти: съответните органи докладват на национално ниво в срок до 30 минути.
- Съдържание на доклада: 8 задължителни елемента, включително име на засегнатата система, време, тип, ниво, щети, първоначален анализ на причините, следи от разследване и др..
- Канали за докладване: Гореща линия 12387, уебсайт, имейл, факс и др..
- Санкции: За закъснение, пропуск, невярно или укрито докладване с тежки последици – затегнати наказания.
Режимът може да е затворен, но конкретно при AI не всичко се прикрива.
Много вярваш на пропагандата за тоталитарните режими
демокрацията има не по-малко мръсни тайни и прикрити действия