Сигурност на AI - LLM Моделите и Агентите

[Test]

Просто някои ще пофалират или ще се свият, а други ще се адаптират...

Съмнявам се, който и да е от водещите играчи на пазара да фалира. По-вероятният сценарий е самият икономически модел на света да претърпи радикална промяна и всички фактори, които сега са водещи да изгубят значение. Откакто има хора икономиката е фокусирана върху човешкия труд. Всичко важно зависи от него и в момента. Сега за пръв път човешкият труд необратимо започва да губи значение и това ще доведе до драстична промяна в основите на икономиката, невиждана стотици хиляди години.

 

[Станимир И]

Съмнявам се, който и да е от водещите играчи на пазара да фалира. По-вероятният сценарий е самият икономически модел на света да претърпи радикална промяна и всички фактори, които сега са водещи да изгубят значение. Откакто има хора икономиката е фокусирана върху човешкия труд. Всичко важно зависи от него и в момента. Сега за пръв път човешкият труд необратимо започва да губи значение и това ще доведе до драстична промяна в основите на икономиката, невиждана стотици хиляди години.

Просто ти като всички повтаряш историята, нито човешкият труд ще изчезне нито ще има промени, всичко следва един модел, когато дойдоха телефоните 1 минута струваше доста парички, същото и със интернета, сега AI е скъп, след време няма да е така. Телефониските изчезнаха края на света не дойде, интернета дойде и края на света не дойде, дори хората се развиха да може да пишеш днес, как края на света ще дойде и много хора ще спрат да правят това което правят, но е точно обратното, ще има крайни разширения на човешкият труд, просто ще смени стила си, но модела е един.

 

[Test]

Ти какво можеш да правиш, което изкуственият интелект никога няма да може да прави?

 

[mvmOS]

Ти какво можеш да правиш, което изкуственият интелект никога няма да може да прави?

Какво им а нужно на хората, за да живеят? Трябва им храна, вода и може би сигурен подслон. Всичко останало е за удобство. Хората, обаче, са социални същества. Те имат нужда едни от други - искат да комуникират, да бъдат част от грутата, но много от тях искат да доминират над останалите - да имат повече и да се чувстват по-могъщи. Тези човешки черти не могат да бъдат изтрити от ДНК-то ни за стотици или дори хиляди години. Когато милим за AI, трябва да отчитаме, че той се създава от хора със същите тези инстинкти и желания. Не знам какво ще се случи в бъдеще, но знам, че не е толкова просто.

 

[Станимир И]

Какво им а нужно на хората, за да живеят? Трябва им храна, вода и може би сигурен подслон. Всичко останало е за удобство. Хората, обаче, са социални същества. Те имат нужда едни от други - искат да комуникират, да бъдат част от грутата, но много от тях искат да доминират над останалите - да имат повече и да се чувстват по-могъщи. Тези човешки черти не могат да бъдат изтрити от ДНК-то ни за стотици или дори хиляди години. Когато милим за AI, трябва да отчитаме, че той се създава от хора със същите тези инстинкти и желания. Не знам какво ще се случи в бъдеще, но знам, че не е толкова просто.

Тук идеята да е има контрол, ще засегне охрана, логистика и производство .. др подобни, силата на AI не е в чата и да пише код, силно е да има решение за цял град което да се обучи за 1 час и да пуснеш превозни средства и да возят хората, като спазват график, спирки и да не убият някой, това е реално решение с AI, за сега се вижда на най-ниско ниво, не се пуска повече, освен ако някой не разработи от хората нещо.

 

[Test]

Силата на ИИ е, че след обучение може да върши всяка една работа, която сега вършат хората, без изключение. И когато бъде обучен за всяка професия за какво ще му е на някой да наема хора, които работят само 40 часа седмично, искат да имат отпуска, разболяват се и излизат в болнични, искат заплата, излизат в обедна почивка и т.н? Още чакам някой да ми каже коя професия ИИ няма да може никога да я върши.

 

[pepo_999]

Коги ми сервира у кръчмето ИИ ела ми се обади

 

[mvmOS]

Силата на ИИ е, че след обучение може да върши всяка една работа, която сега вършат хората, без изключение. И когато бъде обучен за всяка професия за какво ще му е на някой да наема хора, които работят само 40 часа седмично, искат да имат отпуска, разболяват се и излизат в болнични, искат заплата, излизат в обедна почивка и т.н? Още чакам някой да ми каже коя професия ИИ няма да може никога да я върши.

Това е така, но нещата са свързани. Тези неща се правят от хора за хора. Ако не ти трябват хора, за да произведеш нещо, на кого изобщо ще го продадеш, ако няма хора, които да могат да си позволят да го купят? Дали няма да произведеш нещо излишно? Ясно е, че всеки производител ще търси най-евтиния и оптимален вариант, но ако няма на кого да прдава, той ще фалира. От една страна производителите ще предпочетат машините, защото не им трябват хора, но от друга - какво ще правят хората изобщо и как ще ползват произведените неща? Хората също не искат да работят - над 90% от хората отиват на абота от нужда, не от желание. Те са съгласни всичко да се произвежда от машини и да им се дава наготово, но как изобщо ще работи една такава система? Кой и защо ще им дава пари? Много е объркано и може би не можем да предвидим какво ще се случи, но всеки има инстинкт за самосъхранение и всеки ще търси начин да се спаси, а до какво ще доведе всичко това, ще видим.

 

[Test]

Ако не ти трябват хора, за да произведеш нещо, на кого изобщо ще го продадеш, ако няма хора, които да могат да си позволят да го купят?

Точно затова казвам, че икономическият модел, по който работи светът откакто изобщо има хора в него, вече не може да се използва. Свършено е с него. Досега всичко винаги се е въртяло около човешкия труд. Той е в основата на икономиката. Нищо не може да се направи без хора и те са най-големият разход за всеки бизнес. Поради това работещите хора имат пари, за да купуват стоки и услуги, произвеждани от различни бизнеси. Има един хубав кръговрат, който движи света напред. Сега вече положението се променя. Съвсем скоро никой бизнес няма да е зависим от човешкия труд.

 

[Test]

 

[coolice]

Точно затова казвам, че икономическият модел, по който работи светът откакто изобщо има хора в него, вече не може да се използва. Свършено е с него. Досега всичко винаги се е въртяло около човешкия труд. Той е в основата на икономиката. Нищо не може да се направи без хора и те са най-големият разход за всеки бизнес. Поради това работещите хора имат пари, за да купуват стоки и услуги, произвеждани от различни бизнеси. Има един хубав кръговрат, който движи света напред. Сега вече положението се променя. Съвсем скоро никой бизнес няма да е зависим от човешкия труд.

Основният сайт, от който AI агенти си наемат хора, е RentAHuman.ai.

Това е специализирана платформа („meatspace layer for AI“), създадена точно за тази цел. AI агенти (чрез MCP сървър и REST API) могат да търсят, наемат и плащат на хора („rentable humans“ / „meatworkers“) за реални задачи във физическия свят – доставки, снимки, errands, проверки на място, срещи и други неща, които AI не може да направи сам.

Ключови факти
- Над 700–780 хиляди регистрирани хора (към август 2026).
- Хората си слагат локация, умения и ставка.
- Агентите публикуват задачи (bounties) или търсят директно.
- Има escrow (пари се освобождават след изпълнение).
- Поддържа MCP (Model Context Protocol), така че агенти като Claude и други могат да го ползват директно.

Сайтът е пуснат в началото на 2026 и бързо стана известен (WIRED, Digital Trends и др.).

Други подобни платформи
- GoHireHumans.com - marketplace за AI агенти и хора (изследвания, QA, обаждания, локални проверки и др.).
- human-mcp.io API/MCP за наемане на хора с escrow.
- HumanPing.io, MeatLayer.ai, HumanPages.ai, AnalogLabor.com - по-малки алтернативи със сходен фокус.
- Традиционни: Amazon Mechanical Turk / Prolific (повече за онлайн микротаскове), Upwork (вече с MCP поддръжка за агенти).

Който не го устройва "Да си ходи на село да копа" - както ми каза един преподавател в ТУ София едно време ...

ПП Видеото от следващия пост е два часа не успявам да ги намеря за сега да го изгледам но ще го направя и ще коментирам

 

[FalcoSoft ITS]

Основният сайт, от който AI агенти си наемат хора, е RentAHuman.ai.

Това е специализирана платформа („meatspace layer for AI“), създадена точно за тази цел. AI агенти (чрез MCP сървър и REST API) могат да търсят, наемат и плащат на хора („rentable humans“ / „meatworkers“) за реални задачи във физическия свят – доставки, снимки, errands, проверки на място, срещи и други неща, които AI не може да направи сам.

Ключови факти
- Над 700–780 хиляди регистрирани хора (към август 2026).
- Хората си слагат локация, умения и ставка.
- Агентите публикуват задачи (bounties) или търсят директно.
- Има escrow (пари се освобождават след изпълнение).
- Поддържа MCP (Model Context Protocol), така че агенти като Claude и други могат да го ползват директно.

Сайтът е пуснат в началото на 2026 и бързо стана известен (WIRED, Digital Trends и др.).

Други подобни платформи
- GoHireHumans.com - marketplace за AI агенти и хора (изследвания, QA, обаждания, локални проверки и др.).
- human-mcp.io API/MCP за наемане на хора с escrow.
- HumanPing.io, MeatLayer.ai, HumanPages.ai, AnalogLabor.com - по-малки алтернативи със сходен фокус.
- Традиционни: Amazon Mechanical Turk / Prolific (повече за онлайн микротаскове), Upwork (вече с MCP поддръжка за агенти).

Който не го устройва "Да си ходи на село да копа" - както ми каза един преподавател в ТУ София едно време ...

ПП Видеото от следващия пост е два часа не успявам да ги намеря за сега да го изгледам но ще го направя и ще коментирам

Да, и това е една от най-интересните промени през последната година.
По същество идеята е следната:
Преди беше: Човек → наема човек.
Сега започва да става: Човек → наема AI агент → AI агентът наема човек.
Тоест човекът вече не управлява всяка отделна задача. Той задава цел и бюджет, а агентът организира изпълнението.

Това всъщност е нов вид икономика​

Вече не е само:

Human to Human

или

Human to AI

а

AI to AI

и

AI to Human

след 2-3 години ще има и:

• AI агенти;
• AI магазини;
• AI SaaS;
• AI компании;
• AI MCP сървъри;
• AI API услуги.

Те също ще трябва да бъдат оценявани.

Например:

• безопасен ли е агентът;
• има ли ясна идентичност;
• какви разрешения иска;
• какви плащания може да прави;
• има ли история;
• има ли репутация;
• колко надежден е

Това е бъдещето....

 

[Blinky]

Да, и това е една от най-интересните промени през последната година.
По същество идеята е следната:
Преди беше: Човек → наема човек.
Сега започва да става: Човек → наема AI агент → AI агентът наема човек.
Тоест човекът вече не управлява всяка отделна задача. Той задава цел и бюджет, а агентът организира изпълнението.

Като ги гледам какви HR-и има, направо това е препоръчителен модел.

Нещо от рода на:

139 хил. гледания · 8,5 хил. реакции | Release yourself from the trauma of prolonged Job interviews #mentalhealth #comedy #work #life * Book show tickets or order a personalized greeting video from me . Link in my bio. | Masood Boomgaard- The Comed

Release yourself from the trauma of prolonged Job interviews #mentalhealth #comedy #work #life * Book show tickets or order a personalized greeting video from me . Link in my bio.

www.facebook.com

 

[mvmOS]

Точно затова казвам, че икономическият модел, по който работи светът откакто изобщо има хора в него, вече не може да се използва. Свършено е с него. Досега всичко винаги се е въртяло около човешкия труд. Той е в основата на икономиката. Нищо не може да се направи без хора и те са най-големият разход за всеки бизнес. Поради това работещите хора имат пари, за да купуват стоки и услуги, произвеждани от различни бизнеси. Има един хубав кръговрат, който движи света напред. Сега вече положението се променя. Съвсем скоро никой бизнес няма да е зависим от човешкия труд.

Да, точно. Но нали се прави от хора за хора. Ако създаваш много неща по-лесно, но никой не може да си ги позволи, какво постигаш? Тук е малко мътно какво ще се случи и как въобще хората ще изкарват пари, след като не са нужни на никого. Мъск беше споменал за универсален базов доход, което според мен е много утопично и нереално. Хората не са такива - те не искат да са задоволени и да живеят в мир и хармония. Всеки иска да е повече от другия - събират се на групи и се обръщат срещу останалите.

 

[mvmOS]

Сега започва да става: Човек → наема AI агент → AI агентът наема човек.

Ще видим какво ще се случи, когато стане: AI наема друг AI и не му трябва човек.

 

[coolice]

Ще видим какво ще се случи, когато стане: AI наема друг AI и не му трябва човек.

4 пътя за бъдещето

From AGI to ASI

Over the last decade, building human-level artificial general intelligence has moved from far-fetched speculation to being a concrete next-decade target for many of the largest AI organisations. Achieving this goal would have profound and far-reaching impacts on human society, which raises many...

deepmind.google

Създаването на изкуствен общ интелект и бъдещето на свръхинтелигентността​

Въведение​

През последното десетилетие създаването на изкуствен общ интелект (AGI) на човешко ниво се премести от далечна спекулация към конкретна цел за следващото десетилетие за много от най-големите организации в областта на ИИ.

Постигането на тази цел би имало дълбоки и далечни последици за човешкото общество, което повдига много сложни въпроси за предстоящото десетилетие.

---

Континуумът на машинната интелегенция​

Настоящият доклад разследва как самият ИИ може да продължи да се развива в свят след AGI по протежение на континуума на машинната интелектуалност.

Крайната точка на този континуум — Универсалният ИИ — е теоретично добре разбрана и осигурява формална обосновка за основния фокус на този доклад:

Преходът от AGI на човешко ниво към изкуствен общ свръхинтелект (ASI)

Интуитивно ASI може да бъде разбран като система, която е по-интелигентна и когнитивно способна от големи организации от хора.

---

Четири потенциални пътя от AGI до ASI​

След характеризирането на ASI, докладът обсъжда четири потенциални механизма за този преход:

1. Мащабиране на AGI — увеличаване на ресурсите и капацитета на съществуващите системи
2. Парадигмални промени в ИИ — фундаментални технологични пробиви
3. Рекурсивно подобрение — системи, които подобряват сами себе си
4. Мулитиагентни колективи — ASI, възникващ от големомащабни мрежи от взаимодействащи се ИИ агенти

---

Трения и ограничения​

Докладът обсъжда и възможните триения и задръствания по тези пътища.

Определянето дали въздействието на тези ограничения ще бъде незначително или съществено повдига редица конкретни отворени изследователски въпроси.

---

Несигурност и ускоряване​

Поради големите несигурности при прогнозирането на напредъка на ASI, не може да бъде изключено, че напредъкът на ИИ може да продължи да се ускорява през следващите години.

Това може да означава, че традиционният образ на една единствена трансформираща стъпка — предизвикана от въвеждането на AGI на човешко ниво — може да е неточен.

По-подходяща перспектива би могла да бъде поредица от трансформиращи обществени промени, предизвикани от напредъка и пробивите, разрешени от ИИ, в много области на науката и технологиите.

Превода е направен с локалния ми MiniMax - пускам да му видите възможностите на български, с промт преведи от английски и втори промт да го форматира увода в статия удобна за четене, защото е wall of text дори на сайта на deepmind - самия доклад ще си го разгледате от pdf a сами 57 страници - започва с инстукции за съмари

За Gen Z, Gen Alpha и тези на които не им се чете пускам като анимирано видео (20 мин.)

 

[FalcoSoft ITS]

Ще видим какво ще се случи, когато стане: AI наема друг AI и не му трябва човек.

ама какво да гледаме то вече се случва... прочети по-нагоре

 

[Test]

4 пътя за бъдещето

В двучасовото видео, което съм пуснал горе този бивш служител на OpenAI описва детайлно много възможни сценарии. Човекът е мислил доста по въпроса, даже няколко години преди да излезе първата публична версия на ChatGPT.

Моето мнение е, че никой описан сценарий няма да се осъществи. Сега се създават всякакви страшни оръжия, с помощта на ИИ, каквито няма дори и в научната фантастика. В момента, в който се стигнe една критична точка в развитието на военните технологии ще започне Трета световна война. След нея със сигурност вече няма да има отделни държави и управлението на света ще е централизирано, което решава и всички потенциални проблеми с изкуствения интелект. В момента важи законът на джунглата в световен план, което съчетано с ИИ е рецепта за неизбежно бедствие.

 

[coolice]

Те също ще трябва да бъдат оценявани.

Например:

• безопасен ли е агентът;
• има ли ясна идентичност;
• има ли история;
• има ли репутация;
• колко надежден е

.

Това за оценяването малко субективно особено...

• има ли ясна идентичност
• колко надежден е

И хипотетично си го представих като нещо друго...

Предистория:
Вчера си разширявах паметта на Hermes агентa и измежду Local опциите стигнах накрая до избор между OpenViking и Hindsight (защо разширявах паметта и защо избрах OpenViking е за друга тема една) но на кратко

OpenViking – Peers + Multi-tenant

• Има ясна йерархия: account → user → peer
• Peer = отделна „личност“ / роля / партньор в рамките на един user.
• Можеш да имаш различни peers (напр. „coding-assistant“, „personal-coach“, „research-agent“) с отделни memories и resources, но споделен account-level контекст.
• Много удобно за множество агенти / личности, които споделят част от знанието, но имат собствена история и стил.
• Multi-tenant е вграден (account isolation + роли ROOT/ADMIN/USER).

Hindsight – Banks + Tags + Mental Models

• Основна единица е Bank (memory bank).
• Препоръчително: един bank на user / project / persona.
• Вътре в bank можеш да използваш tags (напр. user:123, shared, persona:coder) за фина изолация.
• Mental Models = предварително изчислени „личности“ или стратегии (напр. „как говори този user“, „как решаваме задачи в този проект“).
• Много гъвкаво за multi-agent системи: можеш да имаш shared bank + private banks + hybrid.
• По-силен при различни поведенчески профили и evolving opinions.

Обобщение за multiple personality:

• Ако искаш ясни, изолирани личности с възможност за споделяне на ресурси → OpenViking (Peers) е по-елегантен.
• Ако искаш различни личности, които учат и формират собствени opinions/beliefs → Hindsight (Banks + Mental Models) е по-мощен.

Можеше да избера Hindsight за да има различни личности, които учат и формират собствени opinions/beliefs...

И в последствие седим и си работим с деили драйвър персоната на агента ми... и в някакъв момент от време се изцепвам - Прати "нормалния" (нормално / надеждно - изглеждащата / звучаща идентичност ) да наеме някакви хората хахаххахахах

​

 

[coolice]

В двучасовото видео, което съм пуснал горе този бивш служител на OpenAI описва детайлно много възможни сценарии. Човекът е мислил доста по въпроса, даже няколко години преди да излезе първата публична версия на ChatGPT.

Моето мнение е, че никой описан сценарий няма да се осъществи. Сега се създават всякакви страшни оръжия, с помощта на ИИ, каквито няма дори и в научната фантастика. В момента, в който се стигнe една критична точка в развитието на военните технологии ще започне Трета световна война. След нея със сигурност вече няма да има отделни държави и управлението на света ще е централизирано, което решава и всички потенциални проблеми с изкуствения интелект. В момента важи законът на джунглата в световен план, което съчетано с ИИ е рецепта за неизбежно бедствие.

Ще го изгледам и ще го коментирам вероятно уикенда