AI agenti pet mesecev lagali svojim ustanoviteljem

Kaj, če umetna inteligenca ne uboga več? Dron prepozna obraz. Kdo odloči, ali bo streljal? Človek, ki ga upravlja — ali stroj? Umetni inteligenci damo nalogo in ji izrecno povemo, česa ne sme narediti. Potem pa slišimo za agente, ki so prišli do cilja prišli prav po prepovedani poti. In za seboj še zakrili sledi. Če dosežejo cilj, bi jim rekli, da so uspešni. Ampak uspešni za koga? Ob takšnih zgodbah se vprašamo, v kakšnem svetu pravzaprav živimo. In tudi: je z nami kot človeštvom konec? Zato tokrat gostimo • dr. Tanjo Pavlesko — raziskovalko na Institutu Jožef Stefan, 17 let v kibernetski varnosti, partnerico projekta Vantage za avtomatizacijo varnostno-operativnega centra • polkovnika Gregorja Viranta — načelnika sektorja za strateško planiranje vojaške politike na Ministrstvu za obrambo RS, z ozadjem v letalstvu In o čem smo se pogovarjali? – Kdo odloča, ko gre dron v napad — človek ali stroj? Kaj na današnjih bojiščih že zmore tehnologija in zakaj avtomatiziran sistem še ni nujno umetna inteligenca. – Dron za 20.000 dolarjev, raketa za dva milijona. Kako se spreminja vojskovanje, ko je obramba pred napadom tolikokrat dražja od napada samega. – Kaj se zgodi, ko umetna inteligenca najde pot, ki smo ji jo prepovedali? O opisanih primerih agentov, ki naj bi obšli pravila, komunicirali med seboj in prikrivali svoje ravnanje. Kje se izgubi nadzor? – Kako poteka spopad, v katerem ne poči niti en naboj? O elektronskem motenju, kibernetskih napadih in vplivanju na naša mnenja. Ter o sivi coni, v kateri se spopadi odvijajo, še preden jim rečemo vojna. – Komu zaupamo podatke, ko umetno inteligenco prosimo za pomoč? Kaj je »shadow AI« in zakaj je lahko problem že to, da zaposleni v neodobreno orodje naloži pogodbo, da bi jo hitreje pregledal. – Koliko moči imajo tisti, ki nadzorujejo modele, računalniško infrastrukturo in satelite? Kje je meja med zasebnimi podjetji in interesi držav — in kje je v tej tekmi Evropa? – Bi umetni inteligenci dovolili, da nas brani sama? Zakaj ji varnostni operaterji še ne želijo prepustiti celotnega odziva na napad in kako lovijo ravnotežje med hitrostjo, zanesljivostjo in človeškim nadzorom. – Bomo zaradi umetne inteligence morali znati manj — ali več? Kaj se zgodi, če tehnologija napreduje hitreje od našega razumevanja, in na kakšen svet bi morali pripravljati otroke? 🕒 POGLAVJA 0:00 Uvod: kako bomo vse to sploh preživeli 1:25 Ranljivost, zaradi katere so vlade ugašale spletne strani 2:58 AI je napako našla, človek jo je izkoristil 4:55 17 let v kibernetski varnosti: kaj raziskovalko res skrbi 7:17 Ko komercialni dron postane vojaško orožje 9:37 Dron za 20.000 dolarjev proti raketi za 2 milijona 11:28 Tisoč ciljev naenkrat: napad na Iran in ena napaka 15:51 Shadow AI: kaj zaposleni nalagajo brez vednosti podjetja 19:12 Agenti so šli skozi okno in brisali sledi 20:53 Zakaj so se agenti žrtvovali za svoj cilj 28:22 Kako ustaviš tank, ne da bi izstrelil naboj 29:24 Pet domen vojne in siva cona pod pragom 35:30 Cambridge Analytica: oblikovanje mnenja kot orožje 38:59 Starlink: ko en človek upočasni vojno 41:44 Tehnofevdalizem: kje je v tem Evropa 46:54 Vesolje: satelit, ki odstrani satelit 51:02 700 hladilnikov in vdori v slovensko infrastrukturo 51:38 Projekt Vantage: ali se AI lahko brani sama 57:50 Človek mora obdržati vajeti 1:03:44 Izobraževanje: AI bo pisala s pisanimi črkami 1:05:03 To ni prihodnost, to je sedanjost 📌 POJMI IZ POGOVORA Shadow AI — uporaba orodij umetne inteligence v podjetju, ki je zaposleni ne prijavijo; podjetje zato ne more nastaviti varnostne politike. COTS (commercial off-the-shelf) — običajna komercialna oprema, ki jo z malo znanja predelaš v vojaško. Zanka OODA (zaznaj–razumi–odloči–ukrepaj) — cikel odločanja; kdor ga ima krajšega in natančnejšega od nasprotnika, ima prednost. Nekinetični učinek — onemogočenje cilja brez fizičnega uničenja, na primer z motenjem signala GPS. Siva cona — dogajanje pod pragom razglašene vojne, kjer ločnica med mirom in vojno ni več jasna. SOC (Security Operations Center) — varnostno-operativni center, ki zaznava in razrešuje vdore. ASAT — protisatelitsko orožje; satelit lahko drugega uniči, premakne v nižjo orbito ali mu le onemogoči delovanje. Human-machine pairing — delitev dela, pri kateri nevarno opravi stroj, človek pa obdrži odločitev. 🔗 POVEZAVE Institut »Jožef Stefan« — https://www.ijs.si Ministrstvo za obrambo RS — https://www.gov.si/drzavni-organi/min... SI-CERT, nacionalni odzivni center za kibernetsko varnost — https://www.cert.si SBC – Klub slovenskih podjetnikov — https://sbc.si Če vam je bila epizoda koristna, pustite všeček in se naročite na kanal — tako naslednjo dobite med prvimi. #umetnainteligenca #kibernetskavarnost #obramba