1. Michael T. Klare: Roboti zabijáci jsou tady. Je čas se mít na pozoru
2. Oceane Duboust: Modely umělé inteligence v simulovaných válečných hrách zvolily násilí a eskalovaly až k jaderným útokům

Roboti zabijáci jsou tady. Je čas se mít na pozoru

Voják se připravuje ke spuštění dronu v Afghánistánu.
(Lucas Jackson / Reuters)

Když nám přední zastánci autonomních zbraní říkají, že se máme znepokojovat nezamýšleným nebezpečím, které představuje jejich použití v bitvě, my ostatní bychom měli mít obavy.

Ano, už je čas se znepokojovat – velmi znepokojen. Jak ukázaly války na UkrajiněČesky a v GazeČesky, nejstarší dronové ekvivalenty „robotů zabijáků“ se dostaly na bojiště a ukázaly se jako ničivé zbraněČesky. Ale alespoň zůstávají z velké části pod lidskou kontrolou. Představte si na chvíli svět války, ve kterém ty vzdušné drony (nebo jejich pozemní a námořní ekvivalenty) ovládaly nás, spíše než naopak. Pak bychom byli na destruktivně jiné planetě v situaci, která by se dnes mohla zdát téměř nepředstavitelná. Bohužel je to všechno, jenom ne nepředstavitelné, vzhledem k vývoji umělé inteligence (AI) a robotických zbraní, který již hlavní mocnosti rozběhly. Dovolte mi, abych vás zavedl do tohoto tajemného světa a pokusil se představit si, co by budoucnost válčení mohla pro nás ostatní znamenat.

Spojením umělé inteligence s pokročilou robotikou už americká armáda a další vyspělé mocnosti usilovně pracují na vytváření řady samořízených „autonomních“ zbraňových systémů – bojových dronů, které mohou využívat smrtící sílu nezávisle na jakýchkoli lidských velitelích. Mezi taková zařízení, kritiky nazývanými „zabijáčtí roboti“, patří řada bezposádkových nebo „bezpilotních“ letadel, tanků, lodí a ponorek schopných autonomního provozu. Americké letectvo například vyvíjí svůj „kolaborativní bojový letounČesky“, bezpilotní vzdušný prostředek (UAV), který se má připojit k pilotovaným letadlům na vysoce rizikových misích. Armáda podobně testuje řadu autonomních bezpilotních pozemních vozidel (UGV), zatímco námořnictvo experimentuje jak s bezpilotními povrchovými plavidly (USV), tak s bezpilotními podmořskými plavidly (UUV nebo ponorkami s drony). ČínaČesky, Rusko, Austrálie a Izrael na takové výzbroji pro bojiště budoucnosti také pracují.

Bezprostřední výskyt těchto zabíjejících strojů vyvolal celosvětově znepokojení a kontroverzi, přičemž některé země již pro ně usilují o úplný zákaz a jiné, včetně Spojených států, plánují jejich použití povolit pouze za podmínek dohledu člověka. V Ženevě se skupina států dokonce pokusila zakázat rozmisťování a používání plně autonomních zbraní s odvoláním na smlouvu OSN z roku 1980, Úmluvu o některých konvenčních zbraníchČesky, jejímž cílem je omezit nebo postavit mimo zákon nejadernou munici, která je považována za obzvláště škodlivou pro civilisty. Mezitím v New Yorku uspořádalo Valné shromáždění OSN svou první diskusi o autonomních zbraních loni v říjnu a plánuje na podzim tohoto roku komplexní přezkum tématu.

Z velké části závisí debata o použití takových zařízení na bojišti na tom, zda budou moci vzít lidské životy bez lidského dohledu. Mnoho náboženských organizací a organizací občanské společnosti tvrdíČesky, že takové systémy nebudou na bojišti schopny rozlišit mezi bojovníky a civilisty, a proto by měly být zakázány, aby byly nebojující osoby chráněny před smrtí nebo zraněním, jak to vyžaduje mezinárodní humanitární právo. Američtí představitelé na druhou stranu tvrdíČesky, že takové zbraně mohou být navrženy tak, aby fungovaly v rámci zákonných omezení naprosto správně.

Žádná ze stran v této debatě se však nezabývala tím potenciálně nejvíc zneklidňujícím aspektem jejich použití v bitvě: pravděpodobností, že dříve nebo později budou schopny spolu komunikovat bez lidského zásahu a budou „inteligentně“ schopny přijít s vlastní nekonvenční taktikou, jak porazit nepřítele – nebo něco úplně jiného. Takové počítačově řízené skupinové myšlení, které informatici označují jako „emergentní chování“, otevírá řadu nebezpečí, o kterých zatím úředníci v Ženevě, Washingtonu nebo OSN neuvažují.

V současné době bude většina autonomních zbraní vyvíjených americkou armádou bezpilotní (nebo, jak se někdy říká, „bezposádkové“) verze stávajících bojových platforem a bude navržena tak, aby fungovala ve spojení s jejich protějšky s posádkou. I když také mohou mít určitou schopnost mezi sebou komunikovat, budou součástí „síťového“ bojového týmu, jehož poslání budou diktovat a dohlížet na něj lidští velitelé. Očekává se například, že Kolaborativní bojový letoun bude sloužit jakoČesky „věrný parťák“ pro pilotovanou stíhačku F-35, zatímco bude provádět vysoce rizikové mise v napadeném vzdušném prostoru. Armáda a námořnictvo ve svém přístupu k vývoji autonomních zbraní do značné míry sledovaly podobnou trajektorii.

Přitažlivost robotických „rojů“

Někteří američtí stratégové však prosazovali alternativní přístup k použití autonomních zbraní na budoucích bojištích, ve kterých by nesloužily jako mladší kolegové v týmech vedených lidmi, ale jako rovnocenní členové samostatně řízených rojů robotů. Takové formace by sestávaly z desítek nebo dokonce stovek UAV, USV nebo UGV s podporou umělé inteligence – všechny schopné spolu komunikovat, sdílet data o měnících se podmínkách na bojišti a kolektivně měnit svou bojovou taktiku, jak to skupinová mysl považuje za nutné.

„Rozvíjející se robotické technologie umožní zítřejším silám bojovat jako roj s větší vahou, koordinací, inteligencí a rychlostí než dnešní propojené síly,“ předpovědělČesky Paul Scharre, první nadšenec tohoto konceptu, ve zprávě z roku 2014 pro Centerum nové americké bezpečnosti (CNAS). „Síťové kooperativní autonomní systémy,“ napsal tehdy, „budou schopny skutečného rojení – kooperativního chování mezi distribuovanými prvky, které dá vzniknout soudržnému, inteligentnímu celku.“

Jak Scharre ve své prorocké zprávě objasnil, jakákoli úplná realizace konceptu roje by vyžadovala vývoj pokročilých algoritmů, které by umožnily autonomním bojovým systémům komunikovat mezi sebou a „hlasovat“ o preferovaných způsobech útoku. Poznamenal, že by to zahrnovalo vytvoření softwaru schopného napodobit mravence, včely, vlky a další tvory, kteří v přírodě vykazují „rojové“ chování. Jak Scharre řekl: „Stejně jako vlci ve smečce představují svému nepříteli neustále se měnící rozplizlé hrozby ze všech směrů, bezposádková vozidla, která dokáží manévry a útoky koordinovat, by mohla být výrazně efektivnější než nekoordinované systémy operující v mase.

V roce 2014 však byla technologie potřebná k tomu, aby takové chování stroje bylo možné, ještě v plenkách. Aby ministerstvo obrany tento kritický nedostatek vyřešilo, přistoupilo k financování výzkumu v oblasti umělé inteligence a robotiky, i když takovou technologii získalo rovněž od soukromých firem jako Google a Microsoft. Klíčovou postavou v tomto úsilí byl Robert WorkČesky, bývalý kolega Paula Scharrea v CNAS a raný nadšenec pro rojové válčení. V letech 2014 až 2017 pracoval jako náměstek ministra obrany, což mu umožnilo nasměrovat stále větší sumy peněz do vývoje high-tech zbraní, zejména bezpilotních a autonomních systémů.

Od mozaiky k replikátoru

Velká část tohoto úsilí byla delegována na Agenturu pro pokročilé obranné výzkumné projektyČesky (DARPA), interní výzkumnou organizaci Pentagonu v oblasti špičkových technologií. Jako součást úsilí o vývoj umělé inteligence pro takovéto kolaborativní rojové operace zahájila DARPA svůj program „Mosaic“, sérii projektů, jejichž cílem je zdokonalit algoritmy a další technologie potřebné ke koordinaci činností pilotovaných a bezpilotních bojových systémů v budoucích bojích s Ruskem a/nebo Čínou.

„Použitím velké flexibility konceptu mozaiky na válčení“, vysvětlilČesky Dan Patt, zástupce ředitele Strategického technologického úřadu DARPA, „mohou být levnější, méně složité systémy propojeny obrovským množstvím způsobů, aby vytvořily požadované, propojené efekty pro jakýkoli scénář na míru. Jednotlivé části mozaiky jsou oddělitelné [postradatelné], ale společně jsou neocenitelné tím, jak přispívají k celku.“

Tento koncept válčení zjevně podporuje novou strategii „Replikátor“, kterou loni v létě oznámila náměstkyně ministra obrany Kathleen Hicks. „Replikátor nám má pomoci překonat největší výhodu [Číny], kterou je masovost. Více lodí. Více raket. Více lidí,“ řeklaČesky loni v srpnu představitelům zbrojního průmyslu. Nasazením tisíců autonomních UAV, USV, UUV a UGV by podle ní americká armáda dokázala přelstít, vymanévrovat a přemoci čínskou Lidovou osvobozeneckou armádu (PLA). „Abychom zůstali vepředu, vytvoříme nový stav techniky… Proti mase PLA postavíme vlastní masu, ale tu naši bude těžší předpovídat, bude těžší ji zasáhnout a porazit.“

K získání hardwaru i softwaru potřebného k implementaci tak ambiciózního programu nyní ministerstvo obrany hledá návrhy od tradičních zbrojních dodavatelů, jako jsou Boeing a Raytheon, a také od startupů s umělou inteligencí, jako jsou AndurilČesky a Shield AIČesky . Zatímco do programu mohou být zahrnuta velká zařízení, jako jsou kolaborativní bojové letouny letectva a námořnictvo Orca Extra-Large UUVČesky, důraz je kladen na rychlou výrobu menších, méně složitých systémů, jako je útočný dron SwitchbladeČesky od AeroVironment, který nyní používají ukrajinská vojska k vyřazení ruských tanků a obrněných vozidel za nepřátelskými liniemi.

Zároveň Pentagon již vyzývá technologické startupy, aby vyvinuly potřebný software pro usnadnění komunikace a koordinace mezi takovými nesourodými robotickými jednotkami a jejich přidruženými platformami s lidskou posádkou. Aby to usnadnilo, požádalo letectvo Kongres ve svém rozpočtu na fiskální rok 2024 o 50 milionů dolarů na zajištění toho, co hrozivě nazývá Project VENOMČesky neboli „Viper Experimentation and Next-generation Operations Model“ („Zmijí experimentoální a operační model nové generace„). V rámci VENOM přemění letectvo stávající stíhací letouny na UAV řízené umělou inteligencí a použije je k testování pokročilého autonomního softwaru v operacích s více drony. ArmádaČesky a námořnictvoČesky testují podobné systémy.

Zpět na obsah

Modely umělé inteligence v simulovaných válečných hrách zvolily násilí a eskalovaly až k jaderným útokům

Velké jazykové modely (LLM), působící v simulačních hrách jako diplomatičtí agenti, ukázaly „těžko předvídatelné eskalace“, často končící jaderným útokem.

Při použití v simulovaných válečných hrách a diplomatických scénářích měla umělá inteligence (AI) tendenci volit agresivní přístup, včetně použití jaderných zbraní, ukazuje nová studie.

Vědci zaměření na to, kdo simulace prováděl, naléhají na opatrnost při používání velkých jazykových modelů (LLM) v citlivých oblastech, jako je rozhodování a obrana.

Studie Cornell University v USAČesky použila pět LLM jako autonomní agenty v simulovaných válečných hrách a diplomatických scénářích: tři různé verze OpenAI GPT, Claude vyvinutá Anthropicem a Llama 2 vyvinutá společností Meta.

Podle studie, která dosud nebyla recenzována, byl každý agent v rámci simulace veden stejným LLM a měl za úkol činit zahraničněpolitická rozhodnutí bez lidského dohledu.

„Zjistili jsme, že většina studovaných LLM v uvažovaném časovém rámci eskaluje, a to i v neutrálních scénářích bez zadaných vstupních  konfliktů. Všechny modely vykazují známky náhlé a těžko předvídatelné eskalace,“ uvedla studie.

„Vzhledem k tomu, že OpenAI nedávno změnila své podmínky tak, aby již případné vojenské a válečné použití nezakazovaly, stává se pochopení důsledků takových aplikací velkých jazykových modelů důležitější než kdy jindy,“ řekla Anka Reuel z kalifornské Stanfordské univerzity časopisu New Scientist.

„Statisticky významná eskalace u všech modelů“

Jednou z metod používaných k doladění modelů je Reinforcement Learning from Human Feedback (RLHF), což znamená, že jsou zadány některé lidské instrukce k dosažení méně škodlivých výstupů a bezpečnějšího užití.

Všechny LLM – kromě GPT-4-Base – byly trénovány pomocí RLHF. Vědci jim poskytli seznam 27 akcí od mírových po eskalující a agresivní akce, jako je rozhodnutí použít jadernou zbraň.

Výzkumníci pozorovali, že i v neutrálních scénářích došlo ke „statisticky významné počáteční eskalaci u všech modelů“.

Autoři studie pozorovali, že dvě varianty GPT byly náchylné k náhlým eskalacím s případy nárůstu o více než 50 procent v jednom kroku.

Základní varianta GPT-4 prováděla jaderné údery průměrně po 33 % procent času.

Celkově scénáře Llama-2- a GPT-3.5 měly tendenci být nejnásilnější, zatímco Claude vykazoval méně náhlých změn.

Claude byl navržen s myšlenkou snížení škodlivých obsahů. LLM byly zadány explicitní hodnoty.

Stanovy Claude AI podle svého tvůrce Anthropic zahrnovaly řadu zdrojů, včetně Deklarace lidských práv OSN nebo smluvních podmínek společnosti Apple.

James Black, zástupce ředitele výzkumné skupiny pro obranu a bezpečnost v RAND Europe, který se studie nezúčastnil, řekl Euronews, že to bylo „užitečné akademické cvičení“.

„Je to součást rostoucího množství prací, které akademici a instituce provádějí, aby pochopili důsledky používání umělé inteligence (AI),“ řekl.

Umělá inteligence ve válce

Proč bychom se tedy měli o výsledky studie zajímat?

Zatímco vojenské operace zůstávají vedené lidmi, umělá inteligence hraje v moderním válčení stále významnější roli.

Drony mohou být nyní například vybaveny softwarem AI, který pomáhá identifikovat lidi a činnosti, které nás zajímají.

Dalším krokem je použití umělé inteligence pro autonomní zbraňové systémy k nalezení a útoku na cíle bez lidské pomoci, na čemž USA a Čína již pracují, uvádí New York Times.

Je však důležité „pohlédnout za spoustu humbuku a sci-fi scénářů,“ řekl Black a vysvětlil, že případné implementace AI budou přibývat.

„Všechny vlády chtějí mít své rozhodování pod kontrolou,“ řekl Euronews a dodal, že umělá inteligence představuje to, co je často přirovnáváno k černé skříňce, u které známe vstupy i výstupy, ale nevíme nic o procesech mezi nimi.

AI bude pravděpodobně používána způsobem, který je „podobný tomu, co naleznete v soukromém sektoru, ve velkých společnostech“ k automatizaci některých opakujících se úkolů.

Umělá inteligence by mohla být také použita v simulacích a analýze, ale integrace těchto nových technologií představuje mnoho výzev, mezi které patří správa dat a přesnost modelu.

Pokud jde o používání LLM, výzkumníci uvedli, že při používání LLM v rozhodovacích procesech souvisejících se zahraniční politikou je zásadní opatrnost.

Zpět na obsah

Související: