Právní rámec pro testování a pilotní projekty AI/SW:

Chystáte se testovat nový software nebo pilotní projekt s umělou inteligencí? V tomto článku získáte jasný návod, jak se připravit na nová pravidla EU, správně nastavit smlouvy s dodavateli a omezit svou odpovědnost za případné chyby. Ukážeme vám, jak ochránit vaše investice a předejít nákladným sporům, které mohou ohrozit i zavedené firmy.

Autor článku: ARROWS advokátní kancelář (Mgr. Petr Hanzel, LL.M., office@arws.cz, +420 245 007 740)

Nová éra regulace je tady: Co pro vaše AI projekty znamená AI Act?

Nástup umělé inteligence přináší revoluční příležitosti, ale také nová rizika. Evropská unie na to reaguje dosud nejkomplexnější regulací na světě – Nařízením o umělé inteligenci, známým jako AI Act. Tento předpis zásadně mění pravidla hry a je klíčové pochopit, že se netýká pouze technologických gigantů.

Proč se vás nová pravidla EU týkají, i když AI jen používáte?

Mnoho firem se mylně domnívá, že AI Act dopadá pouze na vývojáře. Opak je pravdou. Nařízení rozlišuje mezi „poskytovateli“ (ti, kdo AI systém vyvíjejí a uvádějí na trh) a „uživateli“ (deployers), tedy firmami, které tyto systémy nasazují do své praxe – například pro analýzu dat, řízení výroby nebo v HR.

Pokud tedy ve své firmě implementujete AI řešení od externího dodavatele, stáváte se uživatelem a vztahuje se na vás řada nových povinností.

Definice „systému AI“ je navíc velmi široká a zahrnuje nejen pokročilé strojové učení, ale i starší logické a expertní systémy. Je tedy pravděpodobné, že pod novou regulaci spadá i software, který ve vaší firmě používáte již několik let, aniž byste ho dosud za umělou inteligenci považovali.

Vysoké riziko = vysoké nároky: Jaké povinnosti musíte splnit při testování?

AI Act zavádí klasifikaci systémů podle míry rizika, kterou představují pro zdraví, bezpečnost a základní práva lidí. Zatímco systémy s nepřijatelným rizikem (např. sociální skórování) jsou zcela zakázány, na tzv. vysoce rizikové systémy dopadají nejpřísnější požadavky. Do této kategorie spadá AI využívaná například v kritické infrastruktuře, zdravotnictví, dopravě, ale i při náboru zaměstnanců či hodnocení úvěruschopnosti.

Pokud váš pilotní projekt spadá do této kategorie, musíte ještě před jeho spuštěním a v jeho průběhu splnit několik klíčových povinností:

• Systém řízení rizik: Musíte zavést a udržovat proces pro neustálou identifikaci, analýzu a zmírňování rizik spojených s používáním daného AI systému.
• Testování a validace: Nařízení explicitně vyžaduje, aby byly systémy před uvedením do provozu důkladně testovány s cílem zajistit jejich správné fungování a minimalizovat rizika.
• Technická dokumentace a logování: Jste povinni vést podrobnou dokumentaci o tom, jak systém funguje, na jakých datech byl trénován a jaká rozhodnutí činí. Systém musí automaticky zaznamenávat svou činnost (logy), aby bylo možné zpětně dohledat jeho chování.
• Lidský dohled: Systém musí být navržen tak, aby jej mohl efektivně kontrolovat člověk, který je schopen v případě potřeby zasáhnout, korigovat jeho chování nebo ho zcela zastavit.

Tato nová pravidla znamenají fundamentální posun od čistě smluvní odpovědnosti za software k veřejnoprávní odpovědnosti, která je přímo vymahatelná státem a jeho orgány. Podobně jako GDPR zavedlo přísná pravidla pro nakládání s osobními údaji, AI Act zavádí srovnatelně přísný režim pro produkty a služby založené na AI. 

Pro firmy to znamená, že pouhá dobře napsaná smlouva již nestačí. Je nezbytné mít robustní, zdokumentované a auditovatelné interní procesy, které prokáží soulad s nařízením při jakékoli kontrole.

Hrozí vám pokuta až 35 milionů EUR? Klíčové termíny, které nesmíte zmeškat.

Ignorování AI Actu se může dramaticky prodražit. Nařízení stanovuje sankce, které mohou být pro mnoho firem likvidační. Jejich výše je odstupňována podle závažnosti porušení a podobně jako u GDPR se počítá z celosvětového ročního obratu společnosti.

• Za porušení zákazu nepřijatelných praktik hrozí pokuta až 35 milionů eur nebo 7 % z celosvětového ročního obratu.
• Za nesplnění povinností u vysoce rizikových systémů (např. chybějící řízení rizik či dokumentace) hrozí pokuta až 15 milionů eur nebo 3 % z celosvětového ročního obratu.

Nevíte si s daným tématem rady?

Pravidla navíc nabíhají postupně a je třeba se na ně připravit včas. Zákaz nepřijatelných praktik platí již od února 2025, zatímco plná účinnost pro většinu vysoce rizikových systémů nastane v srpnu 2026 a 2027.

Inovace pod dohledem: Jak využít regulatorní pískoviště ve svůj prospěch?

AI Act nepřináší jen povinnosti, ale i nové nástroje, které mají podpořit bezpečné inovace. Jedním z nejzajímavějších je koncept tzv. regulatorních pískovišť (regulatory sandboxes). Jde o bezpečné a kontrolované prostředí, kde mohou firmy testovat a validovat své inovativní AI systémy pod dohledem a s podporou státních autorit.

Co je to "regulatorní pískoviště" a proč je ideální pro pilotní projekty?

Regulatorní pískoviště si můžete představit jako speciální testovací režim. Umožňuje vám experimentovat s novou technologií, která ještě nemusí plně splňovat všechny požadavky AI Actu, aniž byste se vystavovali riziku sankcí. Cílem je snížit právní nejistotu a umožnit regulátorům i firmám lépe porozumět rizikům a přínosům dané technologie.

Podle AI Actu musí každý členský stát EU zřídit alespoň jedno takové pískoviště do srpna 2026.

V České republice byla zřízením a správou regulatorního pískoviště pověřena Česká agentura pro standardizaci (ČAS).

Jak vám účast v pískovišti může zjednodušit budoucí certifikaci a snížit riziko sankcí?

Účast v pískovišti přináší firmám, zejména malým a středním podnikům a startupům, pro které jsou primárně určena, několik klíčových výhod:

• Ochrana před pokutami: Pokud dodržujete pravidla a plán testování schválený v rámci pískoviště, jste chráněni před sankcemi za případné porušení AI Actu během experimentální fáze.
• Odborné vedení: Získáte přímý přístup k expertíze regulátora, který vám poskytne cenné rady a pokyny, jak uvést váš systém do souladu s legislativou.
• Zjednodušení certifikace: Veškerá dokumentace a výsledky testování z pískoviště mohou být následně využity v procesu tzv. posouzení shody (conformity assessment), který je pro vysoce rizikové systémy povinný. To vám může ušetřit značné množství času a nákladů.

Vstup do pískoviště mění tradičně napjatý vztah mezi firmou a regulátorem. Místo hrozby kontroly a sankcí se regulátor stává partnerem v inovačním procesu. Tento kolaborativní přístup nejenže usnadňuje dosažení souladu, ale také buduje důvěru. Pro firmy, které vyvíjejí AI pro citlivé sektory, jako je státní správa nebo finance, může být úspěšné absolvování pískoviště silným prodejním argumentem a neformální "pečetí kvality".

Právníci ARROWS vám pomohou s přípravou žádosti, nastavením testovacího plánu a komunikací s ČAS a dalšími úřady, aby byl vstup do pískoviště co nejhladší a přinesl maximální užitek.

Rizika spojená s AI Act a GDPR při testování

Riziko k řešení a potenciální problémy a sankce	Jak pomáhá ARROWS
Nasazení "vysoce rizikového" AI systému bez splnění požadavků AI Act. Sankce: Pokuta až 15 mil. EUR nebo 3 % obratu, zákaz používání systému.	Provedeme právní audit vašeho AI projektu, klasifikujeme riziko a připravíme akční plán pro zajištění compliance.
Nedostatečná technická dokumentace a záznamy o testování prokazující shodu. Sankce: Problémy při kontrole, pokuty, nemožnost certifikace.	Vypracujeme interní směrnice pro dokumentaci a logování v souladu s AI Act a pomůžeme s přípravou podkladů pro posouzení shody (conformity assessment).
Použití reálných osobních údajů v testovací databázi v rozporu s GDPR. Sankce: Pokuta od ÚOOÚ až 20 mil. EUR nebo 4 % obratu, žaloby od subjektů údajů.	Navrhneme právní rámec pro testování (např. na základě oprávněného zájmu s dostatečnými zárukami), připravíme zpracovatelské smlouvy a posoudíme nutnost anonymizace/pseudonymizace dat.
Přeshraniční přenos testovacích dat (např. na cloudové servery v USA) bez zajištění ochrany dle GDPR. Sankce: Vysoké pokuty, nařízení zastavení přenosu dat.	Zanalyzujeme datové toky, připravíme standardní smluvní doložky (SCC) a posoudíme nutnost dalších opatření. Díky síti ARROWS International zajistíme soulad i v cílové jurisdikci.
Nedostatečné proškolení zaměstnanců o rizicích a pravidlech práce s AI. Sankce: Lidské chyby vedoucí k úniku dat, porušení regulace a následným pokutám.	Poskytneme odborná školení pro zaměstnance i vedení na míru vaší firmě, včetně certifikátu o absolvování.

Smlouva jako základ úspěchu: Jaké klauzule nesmí chybět ve vašich IT kontraktech?

I přes nástup AI Actu zůstává kvalitní smluvní dokumentace základním kamenem každého úspěšného IT projektu. Právě ve smlouvě definujete očekávání, rozdělujete odpovědnost a nastavujete pravidla pro řešení problémů. V kontextu testování a pilotních projektů jsou některé klauzule naprosto nepostradatelné.

Na koho se můžete obrátit?

Konec dohadům: Proč jsou precizní akceptační kritéria klíčová pro převzetí díla?

Jednou z nejčastějších příčin sporů v IT je otázka, zda bylo dílo řádně dokončeno a předáno. Odpověď na ni dávají akceptační kritéria – jasně definované, objektivní a měřitelné podmínky, které musí software splnit, aby byl považován za hotový a připravený k převzetí.

Vágní formulace jako „systém bude uživatelsky přívětivý“ nebo „aplikace bude fungovat rychle“ jsou prakticky bezcenné a otevírají dveře k nekonečným dohadům. Dobře definovaná akceptační kritéria jsou naopak konkrétní: „Odezva systému na 95 % uživatelských dotazů nepřesáhne 500 milisekund při zátěži 1000 souběžných uživatelů.“ Úspěšné splnění těchto kritérií v rámci akceptačního řízení spouští klíčové právní následky, jako je povinnost zaplatit cenu.

Ochrana vašeho know-how: Kdy a jak použít dohodu o mlčenlivosti (NDA)?

Při vývoji a testování nového softwaru často sdílíte s externími partnery své nejcennější know-how, obchodní tajemství nebo části zdrojového kódu. Pro ochranu těchto informací před zneužitím slouží dohoda o mlčenlivosti (Non-Disclosure Agreement – NDA).

Kvalitní NDA musí přesně definovat, co je považováno za důvěrnou informaci, jak dlouho povinnost mlčenlivosti trvá a jaké sankce (typicky smluvní pokuta) hrozí v případě jejího porušení. Je to zásadní nástroj pro budování důvěry a bezpečné spolupráce, bez kterého byste neměli sdílet žádná citlivá data.

Testujete s osobními údaji? Jak sladit vývoj s přísnými pravidly GDPR.

Pokud pro testování potřebujete využít reálná data zákazníků nebo zaměstnanců, vstupujete na tenký led nařízení GDPR. Judikatura Soudního dvora EU sice potvrdila, že vytvoření testovací databáze s osobními údaji může být legální, ale pouze za přísných podmínek: účel testování musí být slučitelný s původním účelem sběru dat (např. oprava chyby ve službě) a data musí být v testovací databázi uložena jen po nezbytně nutnou dobu.

Navíc, pokud do testování zapojíte externí firmu, musíte s ní uzavřít zpracovatelskou smlouvu dle článku 28 GDPR, která přesně vymezí její povinnosti při ochraně dat. Zanedbání těchto pravidel může vést k vysokým pokutám od Úřadu pro ochranu osobních údajů.

ARROWS se specializuje na přípravu a revizi komplexních smluv o vývoji a implementaci softwaru, které obsahují precizní akceptační kritéria, robustní ochranu IP a jsou plně v souladu s GDPR a AI Act.

Kdo zaplatí škodu? Omezení odpovědnosti v pilotních projektech

I ten nejlépe otestovaný software může obsahovat skryté chyby, které se projeví až v reálném provozu. Otázka, kdo ponese odpovědnost za škody způsobené těmito chybami, je pro každou firmu klíčová. Správné smluvní nastavení odpovědnosti může rozhodovat o milionových úsporách.

"Poskytováno, jak stojí a leží": Jaké jsou zákonné meze vyloučení odpovědnosti u beta verzí?

Vývojáři se často snaží u testovacích (beta) verzí softwaru zcela vyloučit svou odpovědnost doložkou „as is“ (jak stojí a leží). Český právní řád však takovému úplnému zproštění odpovědnosti klade meze.

Podle občanského zákoníku se nelze platně vzdát práva na náhradu újmy způsobené úmyslně nebo z hrubé nedbalosti, ani újmy na životě či zdraví. Taková smluvní doložka by byla neplatná.

Co když chyba v AI způsobí klientovi milionové ztráty? Kdo je odpovědný?

U umělé inteligence je otázka odpovědnosti ještě složitější. Je za chybu odpovědný vývojář, který vytvořil vadný algoritmus? Provozovatel, který systém nasadil? Nebo uživatel, který zadal nesprávné pokyny? Současná právní úprava na tyto otázky nedává jednoznačnou odpověď. Nová evropská směrnice o odpovědnosti za vadné výrobky (PLD) však již explicitně zahrnuje software mezi výrobky, což výrazně posiluje pozici poškozených a zvyšuje rizika pro vývojáře.

Nevíte si s daným tématem rady?

Spojení mezi technickou precizností a právní ochranou je zde naprosto zásadní. Neúspěšné IT projekty a následné soudní spory často pramení z nejasného zadání a vágních akceptačních kritérií. Pokud není možné jednoznačně prokázat, co mělo být dodáno, je velmi obtížné určit, zda byla smlouva porušena.

To následně oslabuje i účinnost klauzulí o omezení odpovědnosti, protože soud může dospět k závěru, že dodavatel, který zásadně selhal v plnění svých povinností, se nemůže dovolávat smluvní ochrany.

Jak správně nastavit limitaci náhrady škody, aby byla právně vymahatelná?

Ačkoliv odpovědnost nelze zcela vyloučit, lze ji rozumně omezit. Doporučujeme ve smlouvách vždy limitovat výši náhrady škody na konkrétní, předem sjednanou částku (např. cena díla nebo roční licenční poplatek) a vyloučit odpovědnost za následné škody a ušlý zisk. Takové ujednání je v B2B vztazích standardní a obecně vymahatelné, pokud není v příkrém rozporu s dobrými mravy a respektuje zákonné limity.

Mezinárodní projekty: Proč je správná volba práva a jurisdikce zásadní pro vaši ochranu?

Spolupracujete s dodavatelem ze zahraničí? Pak je naprosto klíčové ve smlouvě jasně určit, kterým právním řádem se bude váš vztah řídit a které soudy budou řešit případné spory. Bez této doložky se vystavujete obrovské nejistotě a riziku, že budete muset vést nákladný spor v cizí zemi podle neznámých pravidel.

Dejte si pozor na častou chybu: pouhý odkaz na „české právo“ nemusí stačit k vyloučení aplikace Vídeňské úmluvy o mezinárodní koupi zboží (CISG), která se na některé softwarové smlouvy může vztahovat. Pro její vyloučení je nutná explicitní formulace, například odkaz na konkrétní zákon (občanský zákoník).

Díky zkušenostem z desítek IT sporů a naší mezinárodní síti ARROWS International denně řešíme smlouvy s mezinárodním prvkem a dokážeme vám nastavit odpovědnostní vztahy i volbu práva tak, aby minimalizovaly vaše finanční riziko.

Smluvní a provozní rizika při vývoji a testování AI/SW

Riziko k řešení a potenciální problémy a sankce	Jak pomáhá ARROWS
Nejasně definovaná akceptační kritéria. Problém: Spory o dokončení díla, odmítnutí platby, nároky na smluvní pokuty za zpoždění.	Pomůžeme vám definovat objektivní a měřitelná kritéria a nastavíme jasný proces akceptačního řízení přímo ve smlouvě.
Nedostatečná ochrana duševního vlastnictví (zdrojového kódu). Problém: Únik obchodního tajemství, zneužití kódu konkurencí, ztráta konkurenční výhody.	Připravíme NDA na míru a zajistíme, aby smlouva o dílo jasně definovala vlastnictví veškerého vytvořeného kódu a IP.
Neomezená nebo neplatně omezená odpovědnost za škodu. Problém: Povinnost hradit ušlý zisk a následné škody v řádech milionů v případě chyby softwaru.	Zformulujeme právně vymahatelnou klauzuli o limitaci náhrady škody a poradíme s nastavením vhodného pojištění profesní odpovědnosti.
Absence ujednání o servisní podpoře po testování (SLA). Problém: Po skončení pilotního projektu nemáte zajištěné opravy chyb a další rozvoj.	Připravíme navazující servisní smlouvu (SLA) s jasně definovanými reakčními dobami a garancí úrovně služeb.
Vendor lock-in – závislost na jednom dodavateli bez přístupu ke zdrojovým kódům. Problém: Pokud dodavatel zkrachuje nebo přestane komunikovat, nemůžete software dále rozvíjet.	Navrhneme řešení jako escrow (úschova) zdrojových kódů, které zajistí jejich uvolnění při splnění smluvních podmínek.
Nejasná volba práva a soudu u mezinárodních projektů. Problém: V případě sporu musíte vést řízení v cizí zemi podle neznámého práva, což je nákladné a nepředvídatelné.	Díky síti ARROWS International doporučíme a smluvně zakotvíme pro vás nejvýhodnější volbu práva a jurisdikce.

Jistota pro vaše podnikání: Jak vám ARROWS pomůže inovovat bezpečně

Navigace v novém právním prostředí pro AI a software je komplexní a vyžaduje partnera, který rozumí nejen paragrafům, ale i technologiím a byznysu. V ARROWS kombinujeme právní expertízu s praktickými zkušenostmi, abychom vám pomohli inovovat bezpečně a efektivně.

Na koho se můžete obrátit?

Provedeme vás celým procesem – od úvodního auditu vašeho AI projektu a klasifikace rizik podle AI Actu, přes přípravu robustních smluv s dodavateli, až po nastavení interních směrnic a pomoc s případnou certifikací. Naše zkušenosti z dlouhodobé spolupráce s více než 150 akciovými společnostmi a 250 s.r.o. jsou zárukou, že rozumíme potřebám a výzvám firem všech velikostí.

Díky naší mezinárodní síti ARROWS International jsme schopni efektivně řešit i projekty s přesahem do zahraničí, což je v globálním světě technologií klíčová výhoda. Věříme, že naši klienti nejsou jen zákazníci, ale partneři. Rádi propojujeme firmy se zajímavými obchodními příležitostmi a podporujeme inovativní nápady.

Nečekejte, až se objeví problém. Ať už potřebujete:

• vyhotovit interní směrnice pro soulad s AI Act a GDPR,
• připravit nebo revidovat smlouvy o vývoji a testování softwaru,
• získat právní stanovisko k odpovědnostním otázkám,
• zastupovat při jednání s úřady a v případných sporech,
• nebo odborně proškolit váš management a zaměstnance,

jsme tu pro vás. Kontaktujte nás pro nezávaznou konzultaci a udělejte první krok k bezpečnému využití AI ve vaší firmě.

Nechcete tenhle problém řešit sami? Advokátní kanceláři ARROWS věří více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference a bude nám ctí pomoci vám při řešení vašeho problému. Poptávka je zdarma.