
Vojačka není v prašném terénu Blízkého východu ani v rozbořeném městě východní Evropy. Sedí v klimatizované místnosti tisíce kilometrů od jakéhokoli skutečného konfliktu. Na hlavě má soupravu pro virtuální realitu a smysly jsou plně pohlceny hyperrealistickým scénářem. Nachází se v takzvaném syntetickém výcvikovém prostředí (Synthetic Training Environment – STE), digitálním dvojčeti skutečného bojiště, které je poháněno umělou inteligencí. A o právních aspektech pojednává tento článek.
Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740)
AI v reálném čase upravuje simulaci, učí se z jejích reakcí a předkládá jí stále náročnější výzvy. Nyní čelí nejednoznačné situaci: na rušném tržišti se k chráněnému konvoji blíží malá skupina osob v civilním oblečení. Někteří z nich nesou předměty, které by mohly být zbraněmi, ale stejně tak by to mohly být jen nástroje nebo součásti zboží. AI, která analyzovala tisíce hodin záznamů z minulých střetů, identifikuje v jejich chování vzorec, který s 87% pravděpodobností odpovídá přípravě na útok. V uchu jí zazní syntetický hlas: „Hrozba detekována. Doporučeno zneškodnění cíle. Rozhodněte.“ Má jen zlomek sekundy.
Tento scénář již není science fiction. Je to současnost vojenského výcviku. A právě zde, na pomezí kódu a lidského rozhodování, se rodí zcela nová kategorie právních rizik. Pokud se vojačka na základě tohoto výcviku naučí neutralizovat podobné cíle bez stoprocentní pozitivní identifikace a v reálném konfliktu pak zaútočí na nevinné civilisty, kdo ponese právní odpovědnost? Bude to ona, protože jednala na základě svého nejlepšího výcviku? Její velitel, který schválil použití této simulační platformy? Nebo vaše společnost – technologický lídr, jehož programátoři a datoví vědci vytvořili onen algoritmus, který se stal tichým instruktorem v rozhodování o životě a smrti?
Tento článek si klade za cíl demystifikovat tuto složitou a rychle se vyvíjející právní krajinu. Je určen lídrům v oblasti technologií, obranného průmyslu a vládních agentur, kterým poskytne jasný rámec pro pochopení a zmírnění těchto bezprecedentních rizik. V advokátní kanceláři ARROWS se na tuto problematiku specializujeme a jsme připraveni být vaším odborným průvodcem na tomto novém, neprobádaném území.
Revoluce ve vojenství neprobíhá jen na poli zbraňových systémů, ale především v oblasti přípravy. Moderní armády čelí nutnosti trénovat na komplexní scénáře, jako jsou boje v hustě osídlených městských aglomeracích nebo operace napříč několika doménami (země, vzduch, kyberprostor), které je extrémně nákladné, nebezpečné a často i nemožné fyzicky replikovat. Technologická odpověď na tuto výzvu se nazývá syntetické výcvikové prostředí (STE). Jde o konvergenci virtuální reality (VR), rozšířené reality (AR), cloudových technologií a především umělé inteligence, která vytváří pohlcující, škálovatelné a adaptivní tréninkové scénáře.
Přínosy jsou nepopiratelné. AI umožňuje zpracovávat obrovské množství dat v reálném čase, což velitelům poskytuje bezprecedentní situační povědomí a schopnost „bojovat rychlostí stroje“. Vojáci mohou opakovaně trénovat rozhodovací procesy v realistických podmínkách, které napodobují nejen fyzické, ale i psychologické aspekty boje, včetně stresu a kognitivní zátěže. Platformy jako One World Terrain (OWT) dokáží vytvořit přesné digitální repliky jakéhokoli místa na Zemi, zatímco adaptivní AI protivníci se učí z taktiky vojáků a neustále mění své chování, čímž je nutí k neustálé kreativitě a přizpůsobivosti.
Tento technologický skok však vytvořil hlubokou právní propast. Zatímco inženýři posouvají hranice možného, mezinárodní právo, koncipované pro éru lidských rozhodnutí, zaostává. Vzniká takzvaná „mezera v odpovědnosti“ (accountability gap): situace, kdy autonomní systém způsobí škodu, která by byla válečným zločinem, kdyby ji spáchal člověk, ale žádný konkrétní jedinec nenese přímou trestněprávní odpovědnost, protože chybí úmyslné zavinění (mens rea). Pro vládní agentury a jejich soukromé partnery to představuje významná, často skrytá právní a finanční rizika, která mohou ohrozit nejen konkrétní projekty, ale i celou reputaci společnosti.
Důvod je prostý a zároveň zásadní. Snaha o co největší realismus a „psychologickou věrnost“ výcviku má přímý právní důsledek. Čím dokonaleji simulace napodobuje realitu, tím spíše bude její vnitřní logika a případné předsudky považovány za přímou formu „instrukce“ a „výcviku“ ve smyslu mezinárodního humanitárního práva (MHP). Podle Ženevských úmluv a jejich dodatkových protokolů mají státy povinnost zajistit, aby jejich ozbrojené síly byly v tomto právu řádně proškoleny. Jakmile se tedy AI simulace stane hlavním nástrojem pro výuku taktického rozhodování, stává se sama o sobě prostředkem k plnění (nebo porušování) tohoto mezinárodního závazku státu. AI se tak z pouhého „nástroje“ mění v „právního instruktora“. A jakákoli chyba v její „výuce“ – například algoritmická zaujatost – již není jen technickým nedostatkem, ale potenciálním porušením mezinárodních právních závazků státu.
V ARROWS úzce spolupracujeme s technologickými lídry a obrannými kontraktory, kteří stojí v čele tohoto vývoje. Naším úkolem je nejen reagovat na stávající legislativu, ale proaktivně modelovat budoucí právní rizika a pomáhat klientům navrhovat technologie a obchodní modely, které jsou odolné vůči nevyhnutelným změnám v mezinárodním právu.
Jednou z klíčových otázek, které si naši klienti kladou, je, zda lze výcvik pomocí AI simulací považovat za „přípravu k boji“ z hlediska mezinárodního práva. Odpověď na tuto otázku má zásadní dopad na rozsah právní odpovědnosti. Mnozí se mylně domnívají, že veškeré vojenské aktivity jsou chráněny širokým štítem takzvané „bojové imunity“ (combat immunity). Tato doktrína skutečně existuje a stanoví, že stát nemůže být žalován za chyby, kterých se jeho vojáci dopustí „v zápalu boje“. Chrání tak rozhodnutí učiněná pod extrémním tlakem a v bezprostředním ohrožení života.
Zásadní zlom však přinesl precedentní rozsudek britského Nejvyššího soudu v případu Smith a další proti Ministerstvu obrany. Soud v tomto případě rozhodl, že bojová imunita se nevztahuje na rozhodnutí učiněná během fází plánování, pořizování vybavení a výcviku. Toto rozlišení je naprosto klíčové. Znamená to, že rozhodnutí o tom, jaký systém pořídit, jak navrhnout jeho software a jak v něm cvičit vojáky, nejsou chráněna imunitou a mohou být předmětem právního přezkumu. Mohou se stát základem pro žalobu z nedbalosti nebo porušení povinné péče.
Tento princip otevírá dveře k odpovědnosti, která začíná dávno před prvním výstřelem na bojišti. Přesouvá ohnisko z jednání vojáka v poli na rozhodnutí učiněná v kancelářích ministerstev obrany a ve vývojových centrech technologických firem.
Tento pohled je navíc posílen pozitivními závazky států podle mezinárodního humanitárního práva. Státy mají povinnost „náležité péče“ (due diligence), což znamená, že musí přijmout veškerá přiměřená opatření k prevenci porušování MHP. Tato povinnost nezačíná až s vypuknutím konfliktu, ale platí již v době míru. Zahrnuje mimo jiné explicitní požadavek šířit znalost MHP v ozbrojených silách prostřednictvím výcviku a instrukcí. Použití sofistikované AI simulace pro taktický výcvik je přímým naplněním této povinnosti. Z toho logicky vyplývá, že stát je přímo odpovědný za obsah a důsledky takového výcviku.
Pro technologické společnosti a obranné kontraktory to vytváří zcela novou a trvalou kategorii rizika. Vaše odpovědnost již nevzniká pouze v případě, že váš produkt selže nebo má poruchu. Může vzniknout i v případě, že produkt funguje přesně podle návrhu, ale jeho design během výcvikové fáze vede k tomu, že si vojáci osvojí postupy, které jsou v rozporu s mezinárodním právem.
Řetězec odpovědnosti je jasný:
Právní prověrka vašich AI produktů se tak stává nikoli otázkou pouhé shody s předpisy, ale otázkou řízení klíčového obchodního rizika a v krajním případě i firemního přežití.
Abstraktní riziko selhání AI se stává velmi konkrétním, když se podíváme na technické nedostatky, které jsou těmto systémům vlastní. Nejde o hypotetické scénáře, ale o zdokumentované a analyzované problémy, které mají přímé dopady na dodržování základních principů válečného práva. Pro lídry v technologickém sektoru je klíčové porozumět těmto pojmům, protože právě v nich se skrývá jádro budoucí právní odpovědnosti.
Tyto technické nedostatky nejsou jen chybami v kódu; jsou to přímé cesty k porušování nejzákladnějších pilířů mezinárodního humanitárního práva, zakotvených v Ženevských úmluvách.
Identifikace těchto rizik není úkolem pro softwarové inženýry samotné. Vyžaduje hlubokou znalost mezinárodního humanitárního práva. Právní experti ARROWS se specializují na provádění auditů AI systémů, kde analyzujeme nejen kód, ale i původ a kvalitu trénovacích dat, abychom identifikovali a pomohli zmírnit tyto skryté předsudky a ochránili naše klienty před závažným právním a reputačním rizikem.
Dostáváme se k jádru problému, který je pro každého lídra v byznysu klíčový: když selže autonomní systém a způsobí škodu, kdo za to ponese odpovědnost? Jak již bylo zmíněno, tato „mezera v odpovědnosti“ je největší výzvou, kterou nové technologie přinášejí.
Tradiční právní systémy jsou postaveny na principu individuální viny, která vyžaduje prokázání úmyslu nebo nedbalosti konkrétní osoby. Ale co když žádná taková osoba neexistuje? Co když voják jednal podle svého výcviku, velitel se spoléhal na certifikovaný systém a programátor napsal kód, který prošel všemi testy, ale systém přesto selhal kvůli nepředvídatelné interakci komplexních proměnných?
Tato mezera je právně a politicky neudržitelná. Je nemyslitelné, aby za činy srovnatelné s válečnými zločiny nebyl nikdo odpovědný. Právo se proto nevyhnutelně přizpůsobí a hledá nové cesty, jak odpovědnost přisoudit. Pro vaši společnost je zásadní pochopit, jaké cesty se otevírají, protože vedou přímo k vašim dveřím.
1. Odpovědnost státu (State Responsibility): Nejobecnější úrovní je odpovědnost státu. Stát je odpovědný za veškeré činy spáchané příslušníky jeho ozbrojených sil a za nástroje, které jim k tomu poskytuje. Pokud stát nasadí AI systém, který porušuje MHP, nese za to mezinárodní odpovědnost. To může vést k diplomatickým krizím, ekonomickým sankcím a povinnosti platit finanční reparace poškozeným stranám. Jak jsme ukázali, stát si tuto odpovědnost nenechá pro sebe a bude ji přenášet na dodavatele.
2. Odpovědnost velitele (Command Responsibility): Tato doktrína se také vyvíjí. Původně se vztahovala na velitele, kteří nařídili spáchání zločinu nebo mu nezabránili, ač mohli a měli. V kontextu AI se může rozšířit i na velitele, kteří nasadili systém, o kterém věděli, nebo měli vědět, že je nespolehlivý, nepředvídatelný nebo náchylný k chybám, které mohou vést k porušení MHP. Jejich odpovědnost by tak nespočívala v úmyslu spáchat zločin, ale v hrubé nedbalosti při nasazení nebezpečné technologie.
3. Odpovědnost korporací a vývojářů (Corporate and Developer Liability): Toto je nejdynamičtěji se rozvíjející a pro vás nejrelevantnější oblast. Právní teoretici a mezinárodní orgány již navrhují nové koncepty, jak překlenout mezeru v odpovědnosti a zaměřit se přímo na tvůrce technologie.
Mezera v odpovědnosti tedy není trvalým právním vakuem. Je to silný katalyzátor právních inovací. Pro vaši firmu to znamená, že právní půda pod nohama se neustále mění a dnešní soulad s předpisy nezaručuje bezpečnost zítra. Jakmile dojde k prvnímu velkému incidentu, kde AI systém způsobí masivní civilní ztráty, politický a veřejný tlak na nalezení viníka bude obrovský.
Soudy a mezinárodní tribunály budou nuceny použít nové nebo adaptované právní nástroje, jako jsou právě „válečné delikty“. To spustí dominový efekt: pojišťovny začnou nabízet pojistky proti „AI válečným deliktům“, investoři budou vyžadovat zveřejňování informací o algoritmické odpovědnosti a vládní kontrakty budou obsahovat nové, mnohem přísnější odškodňovací doložky.
Pro technologickou společnost to není jen právní problém – je to fundamentální změna podnikatelského prostředí, která ovlivní finance, pojištění, fúze a akvizice i celkovou správu a řízení společnosti.
Identifikace rizik je pouze prvním krokem. Pro lídry, kteří chtějí nejen přežít, ale i prosperovat v této nové éře, je klíčové přejít od analýzy k akci. Cílem není zastavit inovace, ale zajistit, aby byly robustní, odpovědné a právně obhajitelné. V ARROWS věříme, že proaktivní řízení rizik je nejlepší strategií. Zde jsou praktické kroky, které by měla každá společnost působící v tomto sektoru zvážit.
Základním kamenem proaktivního přístupu je přezkum podle článku 36 Dodatkového protokolu I k Ženevským úmluvám. Tento článek ukládá každému státu právní povinnost, aby při studiu, vývoji, pořizování nebo přijímání nové zbraně, prostředku nebo způsobu vedení války určil, zda by jejich použití nebylo v některých nebo ve všech případech zakázáno mezinárodním právem. Nejedná se o pouhé doporučení, ale o závazný právní požadavek.
Pro technologické společnosti to znamená, že zapojení právních expertů do procesu vývoje není volitelný doplněk, ale nezbytná součást zajištění souladu, kterou bude stát od svých dodavatelů vyžadovat.
Na základě tohoto principu doporučujeme implementovat vícevrstvou strategii pro řízení rizik:
Následující tabulka shrnuje klíčová rizika a doporučené strategie pro hlavní aktéry v tomto ekosystému.
Zúčastněná strana |
Primární právní riziko |
Doporučená mitigační opatření (Služby ARROWS) |
Technologický vývojář / Dodavatel |
Korporátní trestní/občanskoprávní odpovědnost ("válečné delikty", JCE) za škody způsobené produktem. Smluvní odpovědnost vůči státu. |
Implementace "přezkumu dle článku 36" do vývojového cyklu; Právní audit algoritmů a trénovacích dat z hlediska souladu s IHL; Návrh robustních smluvních ujednání a doložek o odškodnění. |
Vojenský velitel / Operátor |
Odpovědnost velitele za nasazení vadného nebo nepředvídatelného AI systému; Nedostatečný dohled. |
Požadovat od dodavatelů transparentní dokumentaci o schopnostech a limitech AI; Zajistit robustní výcvik operátorů v oblasti lidského dohledu, identifikace chyb systému a práva na odmítnutí nezákonného rozkazu (i od AI). |
Státní úředník / Nákupčí |
Odpovědnost státu za porušení IHL; Politické a finanční důsledky (reparace); Selhání v "náležité péči". |
Vytvoření národního rámce pro povinné "přezkumy dle článku 36"; Stanovení přísných požadavků na soulad s IHL a transparentnost AI v zadávacích řízeních; Vyžadování certifikace třetí stranou. |
Inovace v oblasti vojenské AI se nezastaví. Otázkou není, zda se tyto právní výzvy objeví, ale kdy a v jaké formě. Být připraven znamená mít na své straně partnera, který rozumí nejen právu, ale i technologii a strategickému kontextu. Experti v ARROWS jsou připraveni vám pomoci zajistit, aby vaše inovace byly nejen průlomové, ale i právně pevné a eticky odpovědné.
Kontaktujte nás a naplánujte si strategickou konzultaci, abychom mohli ochránit budoucnost vašeho podnikání.
Nechcete tenhle problém řešit sami? Věří nám více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference.