AI je dobrý sluha, ale zlý pán. Jak ji ve firmě ukočírovat?

Na Algotech TV často mluvíte o umělé inteligenci s velkým nadšením, ale vzápětí vždy zvednete varovný prst ohledně bezpečnosti. Není v tom trochu rozpor?
Vůbec ne, vlastně to dává naprostý smysl. Jsem velký příznivec AI. Umělá inteligence firmám přináší až brutální nárůst efektivity, automatizuje nudnou rutinu a otevírá dveře inovacím, o kterých se nám před pár lety ani nezdálo. Jenže je to jako s každou novou, extrémně silnou technologií. Představte si to jako sportovní auto. Je skvělé, že umí jet třístovkou, ale pokud do něj sednete bez zapnutých pásů a neznáte pravidla silničního provozu, nedopadne to dobře. AI musíme adoptovat, ale musíme mít jasně nastavený governance, tedy pravidla hry.

Když se podíváme na aktuální dění v kyberbezpečnosti, často se skloňují pojmy jako například autonomní útoky. Co se vlastně v kyberprostoru teď děje?
Děje se to, že útočníci začali AI využívat úplně stejně efektivně jako my v byznysu. Dříve musel hacker trávit hodiny zkoumáním zranitelností nebo psaním přesvědčivých phishingových e-mailů. Dnes? Nástroje zneužívající AI, jako jsou různé modifikace v rámci frameworků, fungují automatizovaně. Umí samy skenovat sítě, nacházet slabá místa a dynamicky měnit kód tak, aby obešly tradiční antiviry. Útočník už nestřílí naslepo, on vypustí „chytrého psa", který si cestu do vaší sítě najde sám. Obrana proti takovým hrozbám už se nedá dělat postaru.

Velkým trendem současnosti jsou takzvaní AI agenti. Tedy systémy, které nejen odpovídají na dotazy, ale samy vykonávají úkoly. Je bezpečné pustit si něco takového do firemní sítě?
To je přesně ta dvojsečná zbraň. Autonomní AI agenti jsou fascinující. Představte si asistenta, který sám zanalyzuje trh, připraví report, rozešle e-maily klientům a nakoupí licence k softwaru. Je to obrovský posun. Bezpečnostní riziko ale spočívá v tom, jaká data tomuto agentovi zpřístupníte a jaké mu dáte pravomoce. Pokud AI agentovi dáte administrátorská práva a někdo zvenčí mu podstrčí takzvaný prompt injection – tedy skrytý škodlivý příkaz – může vám tento váš vlastní, ochotný AI asistent během vteřiny vymazat databázi nebo odeslat citlivá klientská data konkurenci. Pravidlo zní: agentům věřte, ale jejich pravomoce přísně omezujte metodou nejnižšího možného privilegia.

To zní trochu děsivě. Pojďme to trochu odlehčit. Občas se mluví o tom, že AI má „halucinace". Jak se třeba může projevit?
Jasně, stává se to a občas a dokáže to být i docela úsměvné. 

Napadá mě pěkný modelový příklad, a to třeba nasazení AI modelu pro automatické třídění uživatelských požadavků na helpdesku. Cílem by bylo, aby AI přečetla tiket od uživatele, pochopila problém a rovnou ho přidělila správnému oddělení. Jeden ze zaměstnanců by napsal do systému jednoduchý vzkaz: „Mám na stole mrtvou myš, už vůbec nereaguje.“ Asi tušíte, kam tím mířím. AI systém může minout IT kontext. Slovo „mrtvá myš“ by si vyhodnotil doslovně jako hygienické riziko. Tiket nejenže neposlal ajťákům, ale s vysokou prioritou ho eskaloval na oddělení facility managementu a správy budovy s tím, že se v kancelářích vyskytují uhynulí hlodavci. Výsledkem by byl lehce zmatený údržbář, který dorazil s igelitovým pytlem a rukavicemi, aby odklidil vybitou bezdrátovou myš od počítače.

AI je geniální na zpracování obrovského množství textu a dat, ale nemá náš lidský kontext a selský rozum. Proto často říkám, že finální lidská kontrola tam musí v kritických procesech prozatím vždycky zůstat.

Je však potřeba řící, že AI je doslova každým dnem lepší a lepší. 

Co byste tedy poradil firmám, které chtějí jít s dobou, nechtějí zaspat konkurenci, ale zároveň se bojí rizik?
Zaprvé: neignorujte to. Kdo dnes ignoruje AI, ten do pár let skoro končí. AI zasáhne většinu oborů i ty, kde si aktuálně myslíme, že je člověk nenahraditelný.  Nezapomínejme na budoucí propojení robotiky a AI, ani manuální obory nejsou „v bezpečí.“

Zadruhé: začněte s takzvanými „uzavřenými hřišti". Používejte enterprise verze AI nástrojů, které garantují, že se vaše firemní data nepoužívají k trénování veřejných modelů. 

Zatřetí: vzdělávejte zaměstnance. Ti musí vědět, že do veřejného chatbota nesmí vložit zdrojový kód vaší nové aplikace nebo finanční uzávěrku. 

A nakonec – klín se vyhání klínem. Pokud na nás útočí AI, musíme mít k obraně nasazené moderní bezpečnostní systémy, které rovněž využívají umělou inteligenci. Jedině AI totiž dokáže reagovat na AI útoky v reálném čase.