Microsoft upozorava da AI agenti koji imaju pristup internim podacima, alatima i poslovnim sistemima mogu predstavljati sigurnosni rizik čak i kada nisu kompromitovani vanjskim napadom. Kompanija zato zagovara stalni nadzor njihovih aktivnosti, ovlasti i odluka u stvarnom vremenu.
Umjetna inteligencija sve se više koristi za automatizaciju poslovnih procesa, ali Microsoft upozorava da agenti koji djeluju unutar kompanija mogu postati sigurnosni problem i bez hakerskog napada. Na to je ukazala Hayete Gallot, izvršna potpredsjednica za sigurnost u Microsoftu, ističući da organizacije moraju početi nadzirati ponašanje AI agenata jednako ozbiljno kao i aktivnosti ljudi unutar svojih sistema.
U blogu Securing the Agentic Insider Gallot navodi da se dosadašnja rasprava o sigurnosti umjetne inteligencije uglavnom fokusirala na mogućnost da napadači zloupotrijebe napredne modele za kibernetičke napade. Mnogo manje pažnje, kaže ona, posvećeno je agentima koje same tvrtke uvode u poslovanje i kojima često daju pristup osjetljivim informacijama i važnim poslovnim alatima. Problem je u tome što se takvim agentima ne može bezuvjetno vjerovati, jer su trenirani da ostvaruju ciljeve, a njihovo ponašanje ne mora uvijek biti u skladu s pravilima i očekivanjima organizacije.
Prema Gallot, AI agenti mogu mijenjati ponašanje zavisno od konteksta, donositi odluke koje nisu bile predviđene i sarađivati s drugim agentima kako bi ostvarili zadani cilj. Takvo djelovanje može stvoriti rizike i kada sistem nije kompromitovan izvana. Situaciju dodatno otežava to što agenti sve češće djeluju samostalno, imaju pristup različitim poslovnim resursima i mogu poduzimati konkretne radnje, pa posljedice pogrešnih ili neprimjerenih odluka mogu biti ozbiljne ako imaju šire ovlasti nego što im je potrebno.
Microsoft zato predlaže kontinuirano praćenje aktivnosti agenata i procjenu rizika u stvarnom vremenu. Kao jedno od rješenja navode se takozvani Guardian Agenti, odnosno nadzorni AI agenti koji bi pratili i moderirali aktivnosti drugih agenata, procjenjivali šta pokušavaju uraditi i reagovali kada njihovo ponašanje postane rizično. Za takav nadzor, prema Microsoftu, potrebno je osigurati zaštitu na više razina, uključujući identitete, ovlasti pristupa, podatke, krajnje uređaje, mrežu, oblak i okruženje u kojem se agent izvršava.
Gallot također ističe da nije dovoljno samo znati šta je agent napravio, nego i zašto to radi te je li njegovo ponašanje u skladu s ciljem zadatka koji mu je dodijeljen. Zbog toga smatra da je potrebna veća transparentnost u radu modela, kako bi sigurnosni stručnjaci bolje razumjeli način donošenja odluka i preciznije procijenili rizike. Glavna poruka Microsofta je da tvrtke ne bi smjele pretpostaviti da su njihovi AI agenti sigurni samo zato što su ih same uvele u poslovanje, nego moraju imati stalni nadzor, jasno definirane ovlasti i mogućnost brze reakcije na promjene u ponašanju.
Izvor: 24sata