AI ve vojenském výcviku:

Vojačka není v prašném terénu Blízkého východu ani v rozbořeném městě východní Evropy. Sedí v klimatizované místnosti tisíce kilometrů od jakéhokoli skutečného konfliktu. Na hlavě má soupravu pro virtuální realitu a smysly jsou plně pohlceny hyperrealistickým scénářem. Nachází se v takzvaném syntetickém výcvikovém prostředí (Synthetic Training Environment – STE), digitálním dvojčeti skutečného bojiště, které je poháněno umělou inteligencí. A o právních aspektech pojednává tento článek. 

Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740)

AI v reálném čase upravuje simulaci, učí se z jejích reakcí a předkládá jí stále náročnější výzvy. Nyní čelí nejednoznačné situaci: na rušném tržišti se k chráněnému konvoji blíží malá skupina osob v civilním oblečení. Někteří z nich nesou předměty, které by mohly být zbraněmi, ale stejně tak by to mohly být jen nástroje nebo součásti zboží. AI, která analyzovala tisíce hodin záznamů z minulých střetů, identifikuje v jejich chování vzorec, který s 87% pravděpodobností odpovídá přípravě na útok. V uchu jí zazní syntetický hlas: „Hrozba detekována. Doporučeno zneškodnění cíle. Rozhodněte.“ Má jen zlomek sekundy.

Tento scénář již není science fiction. Je to současnost vojenského výcviku. A právě zde, na pomezí kódu a lidského rozhodování, se rodí zcela nová kategorie právních rizik. Pokud se vojačka na základě tohoto výcviku naučí neutralizovat podobné cíle bez stoprocentní pozitivní identifikace a v reálném konfliktu pak zaútočí na nevinné civilisty, kdo ponese právní odpovědnost? Bude to ona, protože jednala na základě svého nejlepšího výcviku? Její velitel, který schválil použití této simulační platformy? Nebo vaše společnost – technologický lídr, jehož programátoři a datoví vědci vytvořili onen algoritmus, který se stal tichým instruktorem v rozhodování o životě a smrti? 

Tento článek si klade za cíl demystifikovat tuto složitou a rychle se vyvíjející právní krajinu. Je určen lídrům v oblasti technologií, obranného průmyslu a vládních agentur, kterým poskytne jasný rámec pro pochopení a zmírnění těchto bezprecedentních rizik. V advokátní kanceláři ARROWS se na tuto problematiku specializujeme a jsme připraveni být vaším odborným průvodcem na tomto novém, neprobádaném území.

Syntetická realita: Příslib a úskalí umělé inteligence ve vojenském výcviku

Revoluce ve vojenství neprobíhá jen na poli zbraňových systémů, ale především v oblasti přípravy. Moderní armády čelí nutnosti trénovat na komplexní scénáře, jako jsou boje v hustě osídlených městských aglomeracích nebo operace napříč několika doménami (země, vzduch, kyberprostor), které je extrémně nákladné, nebezpečné a často i nemožné fyzicky replikovat. Technologická odpověď na tuto výzvu se nazývá syntetické výcvikové prostředí (STE). Jde o konvergenci virtuální reality (VR), rozšířené reality (AR), cloudových technologií a především umělé inteligence, která vytváří pohlcující, škálovatelné a adaptivní tréninkové scénáře.

Přínosy jsou nepopiratelné. AI umožňuje zpracovávat obrovské množství dat v reálném čase, což velitelům poskytuje bezprecedentní situační povědomí a schopnost „bojovat rychlostí stroje“. Vojáci mohou opakovaně trénovat rozhodovací procesy v realistických podmínkách, které napodobují nejen fyzické, ale i psychologické aspekty boje, včetně stresu a kognitivní zátěže. Platformy jako One World Terrain (OWT) dokáží vytvořit přesné digitální repliky jakéhokoli místa na Zemi, zatímco adaptivní AI protivníci se učí z taktiky vojáků a neustále mění své chování, čímž je nutí k neustálé kreativitě a přizpůsobivosti.

Tento technologický skok však vytvořil hlubokou právní propast. Zatímco inženýři posouvají hranice možného, mezinárodní právo, koncipované pro éru lidských rozhodnutí, zaostává. Vzniká takzvaná „mezera v odpovědnosti“ (accountability gap): situace, kdy autonomní systém způsobí škodu, která by byla válečným zločinem, kdyby ji spáchal člověk, ale žádný konkrétní jedinec nenese přímou trestněprávní odpovědnost, protože chybí úmyslné zavinění (mens rea). Pro vládní agentury a jejich soukromé partnery to představuje významná, často skrytá právní a finanční rizika, která mohou ohrozit nejen konkrétní projekty, ale i celou reputaci společnosti.

Důvod je prostý a zároveň zásadní. Snaha o co největší realismus a „psychologickou věrnost“ výcviku má přímý právní důsledek. Čím dokonaleji simulace napodobuje realitu, tím spíše bude její vnitřní logika a případné předsudky považovány za přímou formu „instrukce“ a „výcviku“ ve smyslu mezinárodního humanitárního práva (MHP). Podle Ženevských úmluv a jejich dodatkových protokolů mají státy povinnost zajistit, aby jejich ozbrojené síly byly v tomto právu řádně proškoleny. Jakmile se tedy AI simulace stane hlavním nástrojem pro výuku taktického rozhodování, stává se sama o sobě prostředkem k plnění (nebo porušování) tohoto mezinárodního závazku státu. AI se tak z pouhého „nástroje“ mění v „právního instruktora“. A jakákoli chyba v její „výuce“ – například algoritmická zaujatost – již není jen technickým nedostatkem, ale potenciálním porušením mezinárodních právních závazků státu.

V ARROWS úzce spolupracujeme s technologickými lídry a obrannými kontraktory, kteří stojí v čele tohoto vývoje. Naším úkolem je nejen reagovat na stávající legislativu, ale proaktivně modelovat budoucí právní rizika a pomáhat klientům navrhovat technologie a obchodní modely, které jsou odolné vůči nevyhnutelným změnám v mezinárodním právu.

Nevíte si s daným tématem rady?

“Příprava k boji“ v očích práva: Kde končí výcvik a začíná odpovědnost?

Jednou z klíčových otázek, které si naši klienti kladou, je, zda lze výcvik pomocí AI simulací považovat za „přípravu k boji“ z hlediska mezinárodního práva. Odpověď na tuto otázku má zásadní dopad na rozsah právní odpovědnosti. Mnozí se mylně domnívají, že veškeré vojenské aktivity jsou chráněny širokým štítem takzvané „bojové imunity“ (combat immunity). Tato doktrína skutečně existuje a stanoví, že stát nemůže být žalován za chyby, kterých se jeho vojáci dopustí „v zápalu boje“. Chrání tak rozhodnutí učiněná pod extrémním tlakem a v bezprostředním ohrožení života.

Zásadní zlom však přinesl precedentní rozsudek britského Nejvyššího soudu v případu Smith a další proti Ministerstvu obrany. Soud v tomto případě rozhodl, že bojová imunita se nevztahuje na rozhodnutí učiněná během fází plánování, pořizování vybavení a výcviku. Toto rozlišení je naprosto klíčové. Znamená to, že rozhodnutí o tom, jaký systém pořídit, jak navrhnout jeho software a jak v něm cvičit vojáky, nejsou chráněna imunitou a mohou být předmětem právního přezkumu. Mohou se stát základem pro žalobu z nedbalosti nebo porušení povinné péče.

Tento princip otevírá dveře k odpovědnosti, která začíná dávno před prvním výstřelem na bojišti. Přesouvá ohnisko z jednání vojáka v poli na rozhodnutí učiněná v kancelářích ministerstev obrany a ve vývojových centrech technologických firem.

Tento pohled je navíc posílen pozitivními závazky států podle mezinárodního humanitárního práva. Státy mají povinnost „náležité péče“ (due diligence), což znamená, že musí přijmout veškerá přiměřená opatření k prevenci porušování MHP. Tato povinnost nezačíná až s vypuknutím konfliktu, ale platí již v době míru. Zahrnuje mimo jiné explicitní požadavek šířit znalost MHP v ozbrojených silách prostřednictvím výcviku a instrukcí. Použití sofistikované AI simulace pro taktický výcvik je přímým naplněním této povinnosti. Z toho logicky vyplývá, že stát je přímo odpovědný za obsah a důsledky takového výcviku.

Pro technologické společnosti a obranné kontraktory to vytváří zcela novou a trvalou kategorii rizika. Vaše odpovědnost již nevzniká pouze v případě, že váš produkt selže nebo má poruchu. Může vzniknout i v případě, že produkt funguje přesně podle návrhu, ale jeho design během výcvikové fáze vede k tomu, že si vojáci osvojí postupy, které jsou v rozporu s mezinárodním právem.

Řetězec odpovědnosti je jasný:

1. Vaše společnost vyvine a prodá armádě pokročilou AI simulační platformu.
2. Armáda tuto platformu použije k výcviku svých vojáků, což je činnost, která spadá mimo bojovou imunitu.
3. Pokud simulace obsahuje skryté předsudky nebo navádí k jednání v rozporu s MHP, stát selhal ve své povinnosti náležité péče.
4. Stát je za toto selhání a jeho následky mezinárodně odpovědný, což může zahrnovat sankce nebo povinnost platit reparace poškozeným stranám.
5. Stát, který čelí těmto následkům, se bude snažit minimalizovat své ztráty. S největší pravděpodobností se obrátí na vás jako na dodavatele vadného „výcvikového nástroje“ a bude se domáhat odškodnění na základě smluvních ujednání.

Právní prověrka vašich AI produktů se tak stává nikoli otázkou pouhé shody s předpisy, ale otázkou řízení klíčového obchodního rizika a v krajním případě i firemního přežití.

Obraťte se na naše odborníky:

Když kód poruší konvenci: Algoritmická zaujatost a Ženevské úmluvy

Abstraktní riziko selhání AI se stává velmi konkrétním, když se podíváme na technické nedostatky, které jsou těmto systémům vlastní. Nejde o hypotetické scénáře, ale o zdokumentované a analyzované problémy, které mají přímé dopady na dodržování základních principů válečného práva. Pro lídry v technologickém sektoru je klíčové porozumět těmto pojmům, protože právě v nich se skrývá jádro budoucí právní odpovědnosti.

• Algoritmická zaujatost (Bias): AI systémy nejsou objektivní. Jsou odrazem dat, na kterých byly trénovány. Pokud tato data obsahují lidské nebo společenské předsudky, AI je nejen zreprodukuje, ale často i zesílí. Klasickým příkladem je systém pro rozpoznávání hrozeb, který je trénován převážně na datech z konfliktů na Blízkém východě. Takový systém se může naučit, že „muž vojenského věku s blízkovýchodními rysy“ je rizikovější než jiné osoby, a začne tuto charakteristiku používat jako zástupný ukazatel hrozby, bez ohledu na skutečné chování dané osoby. To vede k takzvané „zástupné diskriminaci“.
• Křehkost (Brittleness): AI systémy často selhávají, když se setkají se situací, která se mírně liší od jejich trénovacích dat. Jejich schopnost generalizovat a přizpůsobit se novým kontextům je omezená. Představte si, že nepřátelské síly jednou zneužijí sanitku k přepravě zbraní. „Křehký“ AI systém, který se s tímto anomálním údajem setká, může následně začít klasifikovat
  všechny sanitky jako legitimní vojenské cíle, což by mělo katastrofální humanitární následky.
• Halucinace (Hallucinations): Tento termín popisuje jev, kdy AI generuje nesmyslné nebo fakticky nesprávné výstupy, protože v datech „vidí“ vzorce, které neexistují. V kontextu bojiště to může znamenat, že systém identifikuje neexistující hrozby, například zamění civilní vozidlo za tank nebo skupinu dětí za ozbrojenou jednotku, což vede k tragickému útoku na nevinné cíle.

Tyto technické nedostatky nejsou jen chybami v kódu; jsou to přímé cesty k porušování nejzákladnějších pilířů mezinárodního humanitárního práva, zakotvených v Ženevských úmluvách.

• Princip rozlišování (Principle of Distinction): Tento základní kámen MHP vyžaduje, aby strany v konfliktu vždy rozlišovaly mezi civilisty a kombatanty a mezi civilními objekty a vojenskými cíli. Útoky mohou být vedeny pouze proti vojenským cílům. Algoritmická zaujatost přímo ohrožuje tento princip. Systém, který se naučil spojovat určité etnikum, pohlaví nebo věk s hrozbou, systematicky selhává v rozlišování a může vést k útokům na civilisty, což je považováno za válečný zločin.
• Princip proporcionality (Principle of Proportionality): Tento princip zakazuje útoky, u nichž lze očekávat, že způsobí vedlejší ztráty na životech civilistů, zranění civilistů nebo škody na civilních objektech, které by byly nepřiměřené ve vztahu k očekávané konkrétní a přímé vojenské výhodě. Špatně nastavená AI (misaligned AI), která je optimalizována pouze na dosažení vojenského cíle (např. zničení cíle za každou cenu), může tento princip zcela ignorovat a doporučit útok bez ohledu na nepřiměřené civilní ztráty.

Identifikace těchto rizik není úkolem pro softwarové inženýry samotné. Vyžaduje hlubokou znalost mezinárodního humanitárního práva. Právní experti ARROWS se specializují na provádění auditů AI systémů, kde analyzujeme nejen kód, ale i původ a kvalitu trénovacích dat, abychom identifikovali a pomohli zmírnit tyto skryté předsudky a ochránili naše klienty před závažným právním a reputačním rizikem.

Nevíte si s daným tématem rady?

Mezera v odpovědnosti: Kdo zaplatí za chybu algoritmu?

Dostáváme se k jádru problému, který je pro každého lídra v byznysu klíčový: když selže autonomní systém a způsobí škodu, kdo za to ponese odpovědnost? Jak již bylo zmíněno, tato „mezera v odpovědnosti“ je největší výzvou, kterou nové technologie přinášejí.

Tradiční právní systémy jsou postaveny na principu individuální viny, která vyžaduje prokázání úmyslu nebo nedbalosti konkrétní osoby. Ale co když žádná taková osoba neexistuje? Co když voják jednal podle svého výcviku, velitel se spoléhal na certifikovaný systém a programátor napsal kód, který prošel všemi testy, ale systém přesto selhal kvůli nepředvídatelné interakci komplexních proměnných? 

Tato mezera je právně a politicky neudržitelná. Je nemyslitelné, aby za činy srovnatelné s válečnými zločiny nebyl nikdo odpovědný. Právo se proto nevyhnutelně přizpůsobí a hledá nové cesty, jak odpovědnost přisoudit. Pro vaši společnost je zásadní pochopit, jaké cesty se otevírají, protože vedou přímo k vašim dveřím.

1. Odpovědnost státu (State Responsibility): Nejobecnější úrovní je odpovědnost státu. Stát je odpovědný za veškeré činy spáchané příslušníky jeho ozbrojených sil a za nástroje, které jim k tomu poskytuje. Pokud stát nasadí AI systém, který porušuje MHP, nese za to mezinárodní odpovědnost. To může vést k diplomatickým krizím, ekonomickým sankcím a povinnosti platit finanční reparace poškozeným stranám. Jak jsme ukázali, stát si tuto odpovědnost nenechá pro sebe a bude ji přenášet na dodavatele.

2. Odpovědnost velitele (Command Responsibility): Tato doktrína se také vyvíjí. Původně se vztahovala na velitele, kteří nařídili spáchání zločinu nebo mu nezabránili, ač mohli a měli. V kontextu AI se může rozšířit i na velitele, kteří nasadili systém, o kterém věděli, nebo měli vědět, že je nespolehlivý, nepředvídatelný nebo náchylný k chybám, které mohou vést k porušení MHP. Jejich odpovědnost by tak nespočívala v úmyslu spáchat zločin, ale v hrubé nedbalosti při nasazení nebezpečné technologie.

3. Odpovědnost korporací a vývojářů (Corporate and Developer Liability): Toto je nejdynamičtěji se rozvíjející a pro vás nejrelevantnější oblast. Právní teoretici a mezinárodní orgány již navrhují nové koncepty, jak překlenout mezeru v odpovědnosti a zaměřit se přímo na tvůrce technologie.

• „Válečné delikty“ (War Torts): Tento koncept, inspirovaný občanskoprávní odpovědností za ultra-nebezpečné činnosti (jako je práce s výbušninami nebo jaderným materiálem), navrhuje zavedení objektivní odpovědnosti (strict liability) za škody způsobené autonomními zbraňovými systémy. V tomto režimu by nebylo nutné prokazovat zavinění. Postačilo by prokázat, že škoda byla způsobena autonomním systémem. Odpovědnost by pak nesl stát a potažmo výrobce systému. Tento posun od trestního práva k občanskoprávnímu výrazně snižuje důkazní břemeno pro poškozené.
• Společný zločinný záměr (Joint Criminal Enterprise - JCE): Jedná se o radikálnější teorii, která by mohla vést až k trestní odpovědnosti samotných softwarových vývojářů. Podle této doktríny by mohli být považováni za spolupachatele, pokud vědomě vytvořili a poskytli nástroj (AI systém), o kterém věděli, že bude nebo může být použit ke spáchání mezinárodních zločinů. I když sami „nestiskli spoušť“, poskytli k tomu klíčový prostředek.

Mezera v odpovědnosti tedy není trvalým právním vakuem. Je to silný katalyzátor právních inovací. Pro vaši firmu to znamená, že právní půda pod nohama se neustále mění a dnešní soulad s předpisy nezaručuje bezpečnost zítra. Jakmile dojde k prvnímu velkému incidentu, kde AI systém způsobí masivní civilní ztráty, politický a veřejný tlak na nalezení viníka bude obrovský.

Soudy a mezinárodní tribunály budou nuceny použít nové nebo adaptované právní nástroje, jako jsou právě „válečné delikty“. To spustí dominový efekt: pojišťovny začnou nabízet pojistky proti „AI válečným deliktům“, investoři budou vyžadovat zveřejňování informací o algoritmické odpovědnosti a vládní kontrakty budou obsahovat nové, mnohem přísnější odškodňovací doložky. 

Pro technologickou společnost to není jen právní problém – je to fundamentální změna podnikatelského prostředí, která ovlivní finance, pojištění, fúze a akvizice i celkovou správu a řízení společnosti.

Strategie pro budoucnost: Praktické kroky k zajištění souladu a řízení rizik

Identifikace rizik je pouze prvním krokem. Pro lídry, kteří chtějí nejen přežít, ale i prosperovat v této nové éře, je klíčové přejít od analýzy k akci. Cílem není zastavit inovace, ale zajistit, aby byly robustní, odpovědné a právně obhajitelné. V ARROWS věříme, že proaktivní řízení rizik je nejlepší strategií. Zde jsou praktické kroky, které by měla každá společnost působící v tomto sektoru zvážit.

Základním kamenem proaktivního přístupu je přezkum podle článku 36 Dodatkového protokolu I k Ženevským úmluvám. Tento článek ukládá každému státu právní povinnost, aby při studiu, vývoji, pořizování nebo přijímání nové zbraně, prostředku nebo způsobu vedení války určil, zda by jejich použití nebylo v některých nebo ve všech případech zakázáno mezinárodním právem. Nejedná se o pouhé doporučení, ale o závazný právní požadavek. 

Pro technologické společnosti to znamená, že zapojení právních expertů do procesu vývoje není volitelný doplněk, ale nezbytná součást zajištění souladu, kterou bude stát od svých dodavatelů vyžadovat.

Na základě tohoto principu doporučujeme implementovat vícevrstvou strategii pro řízení rizik:

• Právo a etika jako součást designu (Legal & Ethical by Design): Právní a etický přezkum musí být integrován do celého životního cyklu vývoje technologie, nikoli až na jeho konci. Právníci specializovaní na MHP a vojenští etici by měli úzce spolupracovat s inženýry a datovými vědci od samého počátku, aby pomohli převést právní požadavky do konkrétních technických specifikací.
• Algoritmické audity a správa dat (Algorithmic Audits & Data Governance): Zaveďte přísné interní procesy pro prověřování trénovacích dat na přítomnost předsudků a systematické testování algoritmů proti scénářům založeným na principech MHP (rozlišování, proporcionalita atd.). Dokumentujte původ, složení a proces čištění dat, abyste byli schopni prokázat náležitou péči.
• Smysluplná lidská kontrola (Meaningful Human Control - MHC): Navrhujte systémy tak, aby klíčová rozhodnutí, zejména ta týkající se použití smrtící síly, zůstala pod kontrolou člověka. Ať už jde o model „člověk v procesu“ (human-in-the-loop), kde systém vyžaduje lidské potvrzení, nebo „člověk nad procesem“ (human-on-the-loop), kde člověk může kdykoli zasáhnout a vetovat rozhodnutí stroje, cílem je zajistit, aby odpovědnost byla vždy dohledatelná ke konkrétnímu lidskému aktérovi.
• Smluvní opevnění (Contractual Fortification): Věnujte maximální pozornost přípravě smluv o vývoji a dodávkách. Tyto smlouvy musí jasně a precizně vymezit odpovědnost a povinnosti mezi jednotlivými stranami – vývojářem, systémovým integrátorem a koncovým vládním uživatelem. Správně formulované odškodňovací doložky a záruky mohou být klíčovou ochranou vašeho podnikání.

Následující tabulka shrnuje klíčová rizika a doporučené strategie pro hlavní aktéry v tomto ekosystému.

Přehled klíčových právních rizik a mitigačních strategií pro zúčastněné strany

Zúčastněná strana	Primární právní riziko	Doporučená mitigační opatření (Služby ARROWS)
Technologický vývojář / Dodavatel	Korporátní trestní/občanskoprávní odpovědnost ("válečné delikty", JCE) za škody způsobené produktem. Smluvní odpovědnost vůči státu.	Implementace "přezkumu dle článku 36" do vývojového cyklu; Právní audit algoritmů a trénovacích dat z hlediska souladu s IHL; Návrh robustních smluvních ujednání a doložek o odškodnění.
Vojenský velitel / Operátor	Odpovědnost velitele za nasazení vadného nebo nepředvídatelného AI systému; Nedostatečný dohled.	Požadovat od dodavatelů transparentní dokumentaci o schopnostech a limitech AI; Zajistit robustní výcvik operátorů v oblasti lidského dohledu, identifikace chyb systému a práva na odmítnutí nezákonného rozkazu (i od AI).
Státní úředník / Nákupčí	Odpovědnost státu za porušení IHL; Politické a finanční důsledky (reparace); Selhání v "náležité péči".	Vytvoření národního rámce pro povinné "přezkumy dle článku 36"; Stanovení přísných požadavků na soulad s IHL a transparentnost AI v zadávacích řízeních; Vyžadování certifikace třetí stranou.

Inovace v oblasti vojenské AI se nezastaví. Otázkou není, zda se tyto právní výzvy objeví, ale kdy a v jaké formě. Být připraven znamená mít na své straně partnera, který rozumí nejen právu, ale i technologii a strategickému kontextu. Experti v ARROWS jsou připraveni vám pomoci zajistit, aby vaše inovace byly nejen průlomové, ale i právně pevné a eticky odpovědné.

Kontaktujte nás a naplánujte si strategickou konzultaci, abychom mohli ochránit budoucnost vašeho podnikání.

Nechcete tenhle problém řešit sami? Věří nám více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference.