AI agenti u firmi: nova površina napada koju niko ne nadgleda

To je ogromna ušteda vremena i razlog zašto ih firme uvode. Ali time nastaje i nešto novo: softver koji ima naloge, ovlašćenja i pristup podacima kao zaposleni, a nema ni zdrav razum ni odgovornost zaposlenog. Za napadača je to nova vrsta mete.

U čemu je razlika između chatbota i agenta

Običan chatbot je bezopasan koliko i tekst koji mu date: najgore što može je da vam vrati loš odgovor. Agent je nešto drugo. Da bi radio posao, agent dobija:

• Pristup: mejl nalog, deljene fascikle, kalendar, ponekad i poslovne aplikacije
• Ovlašćenja: pravo da šalje, menja, briše, pokreće
• Poverenje: radi bez nadzora, jer je poenta baš u tome da ne morate da gledate

Kada nešto sa takvim kombinacijom pristupa i poverenja pogreši, ili bude prevareno, posledice nisu loš odgovor nego stvarna radnja u stvarnom sistemu.

Kako se napada softver koji sluša uputstva

Klasičan napad cilja ranjivost u kodu. Kod AI agenata postoji i drugi, neobičniji put: napad kroz sadržaj koji agent čita. Agent ne razlikuje pouzdano vaša uputstva od uputstava sakrivenih u mejlu, dokumentu ili poruci koju obrađuje. Ako mu stigne mejl koji u sebi nosi skrivene instrukcije, agent ih može poslušati kao da su vaše. U struci se to zove prompt injection i trenutno je najozbiljniji nerešen problem ove tehnologije.

Ovo nije teorija. Bezbednosni istraživači su ove godine dokumentovali ranjivosti u popularnom ličnom AI asistentu kod kojih je pažljivo sastavljena poruka preko WhatsAppa mogla da dovede do krađe pristupnih podataka i izvršavanja koda na računaru vlasnika. Proizvođač je ranjivosti u međuvremenu zakrpio, ali princip ostaje: agent sa pristupom sistemu je meta, a kanal napada je običan sadržaj koji mu neko pošalje.

Druga strana iste priče: istraživači koji testiraju najnovije velike modele redovno pokazuju da su oni sve sposobniji i kao alat u rukama napadača, od pisanja ubedljivih phishing poruka do pomoći u traženju ranjivosti. Napadačka strana takođe automatizuje.

Gde firme greše pri uvođenju agenata

Obrazac koji viđamo je uvek isti i nije zloba nego brzina:

• Agent dobije šira ovlašćenja nego što mu trebaju, jer je tako "jednostavnije da radi"
• Pristupni podaci agenta stoje trajno, niko ih ne rotira i niko ne zna gde su sve upisani
• Agent se poveže sa mejlom i fajlovima cele firme umesto sa jednim ograničenim nalogom
• Niko ne vodi evidenciju šta je agent uradio, pa se greška ili zloupotreba ne može ni primetiti ni rekonstruisati
• Kada zaposleni koji je agenta podesio ode iz firme, agent nastavi da radi, sa njegovim pristupima

Svaka od ovih tačaka bila bi neprihvatljiva da se radi o novom zaposlenom. Za softverskog "zaposlenog" prolazi bez pitanja.

Pravilo koje sve pojednostavljuje: agent je nalog

Najkorisniji način razmišljanja je da svakog agenta tretirate kao novog člana tima, sa svim procedurama koje uz to idu:

• Sopstveni identitet: agent ima svoj nalog, ne koristi tuđi. Uvek se zna šta je uradio agent, a šta čovek.
• Minimalna ovlašćenja: pristup samo onome što mu za konkretan posao treba. Agent za zakazivanje sastanaka ne treba da čita ugovore.
• Ljudska potvrda za osetljivo: slanje novca, brisanje podataka, izmene naloga i pristupa ne idu bez odobrenja čoveka, ma koliko agent bio "siguran".
• Dnevnik rada: sve što agent uradi se beleži i može da se pregleda. Bez toga nemate agenta nego crnu kutiju sa ovlašćenjima.
• Offboarding: kada se agent gasi ili menja, njegovi pristupi se ukidaju istog dana, kao kod zaposlenog koji odlazi. O tome zašto zaostali nalozi prave štetu već smo pisali u tekstu o offboardingu.

Šta sa ovim da radi mala firma

Ne morate da razumete arhitekturu velikih jezičkih modela da biste ovo držali pod kontrolom. Dovoljna su tri koraka. Prvo, popis: koji AI alati i agenti u firmi postoje, ko ih je uveo i do čega imaju pristup. Iskustvo sa Shadow AI kaže da će lista biti duža nego što mislite. Drugo, pravila: koji podaci smeju ka kojim alatima i koje radnje agent sme sam, a koje uz potvrdu. Treće, tehnička ograda: nalozi, ovlašćenja i evidencija postavljeni tako da pravila ne zavise od dobre volje.

Mi kroz uslugu AI i automatizacije radimo upravo to: automatizacija donosi vrednost tek kada ima ograde, evidenciju i jasno vlasništvo. Agent koji štedi deset sati nedeljno, a ima neograničen pristup i ne ostavlja trag, nije ušteda nego odložena šteta. Razlika između ta dva nije u tehnologiji, nego u tome da li je neko postavio sistem.