
Často se setkáváme s tím, že diskuze o AI ve zdravotnictví sklouzává do dvou extrémů. Na jedné straně stojí utopická vize, kde AI vyřeší všechny problémy medicíny. Na druhé straně je dystopický strach z chybujících algoritmů a nahrazení lékařů. Skutečnost, kterou naši právníci v ARROWS při řešení těchto případů denně vidí, leží uprostřed: v komplexní spolupráci člověka a stroje. Skutečnou výzvou pro management nemocnic a technologické firmy není rozhodnutí, zda použít člověka, nebo stroj. Je to o nastavení jasných pravidel, procesů a odpovědnosti mezi člověkem a strojem. A právě zde se technologie setkává s právem.
Autor článku: ARROWS advokátní kancelář (JUDr. Jakub Dohnal, Ph.D., LL.M., office@arws.cz, +420 245 007 740)
Představte si radiologa, který díky asistenčnímu systému umělé inteligence (AI) odhalí na rentgenovém snímku sotva patrné, časné stádium nádoru, které by jinak mohlo uniknout lidskému oku. Nebo si představte nemocniční software, který v reálném čase optimalizuje obsazenost lůžek a alokaci personálu během krizové situace, a zachraňuje tak životy. Toto není sci-fi. Toto je současnost českého a evropského zdravotnictví, kde umělá inteligence již nyní transformuje diagnostiku, personalizuje léčbu a zefektivňuje provoz.
Tato technologická revoluce přináší obrovské příležitosti: přesnější diagnostiku, snížení zátěže pro přetížený personál a v konečném důsledku kvalitnější a dostupnější péči pro pacienty. S těmito příležitostmi však přichází i nová, bezprecedentní úroveň právní a regulatorní komplexity. Nařízení Evropského parlamentu a Rady (EU) 2024/1689, známé jako AI Act, představuje stejně zásadní změnu pravidel hry, jakou bylo ve své době GDPR. Inovace a regulace se staly dvěma stranami téže mince. Ignorovat jednu znamená ohrozit úspěch té druhé.
Tento report je vaším strategickým průvodcem tímto novým prostředím. Nejde jen o výčet paragrafů. Je to praktická mapa, která vám ukáže, jak se vyhnout rizikům, splnit nové povinnosti a přeměnit regulatorní zátěž v prokazatelnou konkurenční výhodu. Právníci z advokátní kanceláře ARROWS se na tuto problematiku specializují a pomáhají klientům, aby jejich inovativní projekty byly nejen funkční, ale i právně neprůstřelné.
Debata o umělé inteligenci ve zdravotnictví již dávno nepatří do kategorie futuristických vizí. Je to hmatatelná realita, která se přímo dotýká vašeho každodenního provozu, ať už vedete nemocnici, kliniku, nebo vyvíjíte novou medicínskou technologii. Podle průzkumu České asociace umělé inteligence již 64 % českých nemocnic v nějaké podobě AI využívá. Nejedná se přitom jen o velké fakultní nemocnice; technologie pronikají napříč celým sektorem.
Přínosy jsou prokazatelné a měřitelné. Například v nemocnici AGEL Nový Jičín vedlo nasazení AI pro vyhodnocování mamografických snímků ke zvýšení úspěšnosti záchytu karcinomu o pět procent. Jiné systémy pomáhají lékařům analyzovat rentgenové snímky hrudníku, upozorňují na potenciální nálezy a snižují tak riziko přehlédnutí v menších nemocnicích, kde není rentgenolog vždy fyzicky k dispozici, zejména v nočních službách. AI také dramaticky zefektivňuje administrativu. Například v oblasti kontroly hygieny dokáže AI projít tisíce stran záznamů, které by člověk fyzicky nezvládl, a identifikovat riziková místa pro vznik infekcí.
Tento trend je poháněn i dynamickým českým ekosystémem technologických firem. Společnosti jako Carebot (asistence při analýze RTG snímků), MAIA (řešení pro radiologii), Kardi Ai (detekce srdečních arytmií z EKG) nebo Aireen (detekce diabetické retinopatie) jsou důkazem, že v České republice máme špičkové experty a inovativní produkty, které se již úspěšně testují a nasazují v praxi.
Tato rychlá a často decentralizovaná adopce technologií však vytváří významné, i když často skryté, riziko. Zatímco jednotlivá oddělení (např. radiologie) mohou nadšeně implementovat nejnovější AI nástroje, je velmi pravděpodobné, že celoorganizační právní a etické rámce za tímto tempem zaostávají. Vzniká tak "mezera mezi adopcí a governance". Je vysoce pravděpodobné, že zatímco lékaři již těží z přínosů AI, právní oddělení nemocnice ještě není plně připraveno na audit podle přísných pravidel AI Actu. Právníci z ARROWS se s touto situací setkávají a vědí, že prvním krokem k bezpečné inovaci není jen poradenství u nových projektů, ale provedení analýzy souladu (Compliance Gap Analysis) u již zavedených AI systémů. Identifikace a uzavření této mezery je klíčové pro minimalizaci budoucích rizik.
Nařízení o umělé inteligenci, známé jako AI Act, které vstoupilo v platnost 1. srpna 2024, představuje první komplexní právní rámec pro AI na světě. Nejde o pouhé doporučení, ale o přímo použitelné nařízení s dalekosáhlými dopady na každého, kdo AI vyvíjí, nasazuje nebo používá v Evropské unii. Pro sektor zdravotnictví je jeho znalost naprosto klíčová.
AI Act zavádí přístup založený na riziku a dělí AI systémy do čtyř kategorií, které lze přirovnat k pyramidě:
Pochopení časového harmonogramu je klíčové pro plánování. Přestože nařízení je již v platnosti, jednotlivé povinnosti nabíhají postupně, aby se firmy a instituce stihly připravit:
Pro vývojáře AI ve zdravotnictví vzniká specifická a náročná situace. Jejich software je často zároveň zdravotnickým prostředkem podle nařízení MDR (Medical Device Regulation) nebo IVDR (In Vitro Diagnostic Regulation) a zároveň vysoce rizikovým AI systémem podle AI Actu. To v praxi znamená nutnost projít dvojí certifikací a splnit dva paralelní, komplexní a náročné soubory pravidel.
Tato dvojí regulatorní zátěž výrazně zvyšuje náklady, časovou náročnost a administrativní složitost uvedení nového produktu na trh. Pro malé a střední podniky a inovativní české startupy to může představovat značnou konkurenční nevýhodu oproti velkým nadnárodním korporacím s rozsáhlými compliance odděleními. Právníci ARROWS se specializují na pomoc klientům s tvorbou
integrované compliance strategie, která efektivně propojuje požadavky MDR/IVDR a AI Actu. Cílem je zefektivnit celý proces, ušetřit zdroje a umožnit i menším inovátorům úspěšně navigovat tímto složitým prostředím.
Pokud vyvíjíte nebo ve své nemocnici či klinice nasazujete vysoce rizikový AI systém, musíte splnit řadu přísných požadavků. Tyto povinnosti se týkají jak poskytovatele (vývojáře), tak uživatele (např. nemocnice). Následující tabulka shrnuje ty nejdůležitější.
Tabulka 1: Přehled klíčových povinností pro vysoce rizikové AI systémy dle AI Actu
Povinnost |
Klíčový požadavek dle AI Actu |
Praktický dopad na vaši organizaci |
Odkaz na článek AI Actu |
Systém řízení rizik |
Zřídit, implementovat, dokumentovat a udržovat systém řízení rizik po celou dobu životního cyklu AI. |
Musíte vytvořit a průběžně aktualizovat živý dokument, který identifikuje, hodnotí a zmírňuje všechna předvídatelná rizika pro zdraví, bezpečnost a základní práva. Nejde o jednorázový úkol. |
Čl. 9 |
Správa dat a kvalita |
Zajistit, aby trénovací, validační a testovací data byla relevantní, reprezentativní, bez chyb, úplná a měla vhodné statistické vlastnosti. Prověřit možná zkreslení (bias). |
Jste odpovědní za kvalitu dat, kterými "krmíte" AI. Poskytnutí nekvalitních nebo nereprezentativních dat (např. s demografickým zkreslením) může vést k diskriminačním výsledkům a vaší spoluodpovědnosti. |
Čl. 10 |
Technická dokumentace |
Vytvořit a udržovat podrobnou technickou dokumentaci ještě před uvedením systému na trh. Dokumentace musí prokázat soulad se všemi požadavky. |
Musíte být schopni kdykoli předložit regulačním orgánům detailní popis fungování systému, jeho účelu, použitých dat, algoritmů, testování a opatření. |
Čl. 11, Příloha IV |
Vedení záznamů |
Zajistit, aby systémy byly schopny automaticky zaznamenávat události (logy) během svého provozu. |
Váš AI systém musí vytvářet auditní stopu, která umožní zpětně vysledovat jeho provoz a vyšetřit případné incidenty nebo chybné výstupy. Tyto logy musíte uchovávat (minimálně 6 měsíců).11 |
Čl. 12 |
Transparentnost a informace |
Navrhnout systém tak, aby jeho provoz byl pro uživatele transparentní. Poskytnout uživatelům jasné a srozumitelné pokyny k použití. |
Lékař používající AI musí rozumět jejím schopnostem a limitům. Musíte poskytnout detailní návod, který vysvětluje, jak systém používat, jak interpretovat jeho výstupy a jaká jsou rizika. |
Čl. 13 |
Lidský dohled |
Systém musí být navržen tak, aby nad ním mohly účinně dohlížet fyzické osoby. Musí existovat možnost lidského zásahu, přezkumu a overridingu rozhodnutí AI. |
AI nenahrazuje lékaře. Musíte implementovat procesy, které zajistí, že finální rozhodnutí (např. o diagnóze nebo léčbě) vždy činí nebo může přezkoumat a zvrátit kvalifikovaný odborník. |
Čl. 14 |
Přesnost, robustnost a kyberbezpečnost |
Dosáhnout přiměřené úrovně přesnosti, robustnosti a kybernetické bezpečnosti po celou dobu životního cyklu systému. |
Systém musí být odolný vůči chybám i vnějším útokům. Musíte provádět testování a zajistit robustní ochranu proti kybernetickým hrozbám, které by mohly ohrozit data pacientů nebo funkci systému. |
Čl. 15 |
Posouzení shody a registrace |
Provést posouzení shody před uvedením na trh a zaregistrovat vysoce rizikový systém ve veřejné databázi EU. |
Podobně jako u jiných certifikovaných výrobků musíte projít formálním procesem posouzení a veřejně deklarovat, že váš systém splňuje všechny zákonné požadavky. |
Čl. 19, Čl. 43 |
Umělá inteligence je hladová po datech. Čím kvalitnější a rozsáhlejší data má k dispozici pro trénink, tím přesnější a spolehlivější jsou její výsledky. Ve zdravotnictví jsou však tato data extrémně citlivá. Právě zde se střetává svět inovací s přísnými pravidly Obecného nařízení o ochraně osobních údajů (GDPR).
GDPR definuje údaje o zdravotním stavu jako "zvláštní kategorii osobních údajů" (dříve označované jako citlivé údaje). To znamená, že jejich zpracování je v zásadě zakázáno, pokud nespadá pod některou z přesně vymezených výjimek v článku 9 GDPR. Pro účely trénování a provozu AI ve zdravotnictví přicházejí v úvahu především dva právní tituly:
Kromě toho může být pro zpracování, které nezahrnuje zvláštní kategorie údajů, relevantní i oprávněný zájem (čl. 6 odst. 1 písm. f) GDPR). Evropský sbor pro ochranu osobních údajů (EDPB) připustil, že oprávněný zájem může být právním titulem pro vývoj AI, ale pouze za předpokladu provedení rigorózního tříkrokového balančního testu. Správce musí prokázat, že jeho zájem je legitimní, zpracování je pro něj nezbytné a že nad jeho zájmem nepřevažují práva a svobody pacientů.
Pro jakékoli nasazení nového AI systému, který bude ve velkém rozsahu zpracovávat údaje o zdravotním stavu, je provedení DPIA prakticky vždy povinné. Důvodem je, že takové zpracování splňuje hned několik kritérií vysokého rizika dle GDPR: jde o rozsáhlé zpracování zvláštních kategorií údajů, často zahrnuje systematické vyhodnocování (profilování) a využívá nové technologie. DPIA je proces, jehož cílem je identifikovat a minimalizovat rizika pro práva a svobody pacientů ještě před zahájením zpracování. Advokátní kancelář ARROWS běžně pomáhá klientům s přípravou a revizí DPIA, aby tento dokument obstál při případné kontrole ze strany Úřadu pro ochranu osobních údajů.
Požadavky AI Actu na kvalitu trénovacích dat zásadně mění roli a odpovědnost poskytovatele zdravotní péče. Už nestačí být jen "správcem dat" ve smyslu GDPR, jehož hlavní povinností je data chránit. Nemocnice nebo klinika, která poskytuje data pro vývoj AI, se stává "kurátorem dat". Nese tak novou odpovědnost za to, že poskytnutý datový soubor je kvalitní, reprezentativní a neobsahuje zkreslení, která by mohla vést k diskriminačním nebo jinak škodlivým výsledkům AI.
Pokud nemocnice poskytne vývojáři datový soubor, který je demograficky vychýlený, a výsledný algoritmus pak bude hůře diagnostikovat určitou skupinu populace, může nemocnice nést spoluodpovědnost za vzniklou újmu. Nejde už jen o ochranu dat, ale o aktivní zajištění jejich vhodnosti pro vytvoření bezpečného a spravedlivého vysoce rizikového systému. To otevírá potřebu nových specializovaných právních služeb, jako jsou audity datových sad pro AI a příprava smluv o kurátorství dat, které jasně vymezí odpovědnost za kvalitu dat a výkonnost výsledného modelu. I v této oblasti jsou právníci ARROWS připraveni poskytnout expertní poradenství.
Představte si scénář, který je noční můrou každého lékaře i pacienta: diagnostický systém AI doporučí nesprávnou léčbu a pacientovi vznikne újma na zdraví. Kdo za to nese právní odpovědnost? Je to vývojář softwaru, nemocnice, která systém nasadila, nebo lékař, který se doporučením řídil?. Odpověď je složitá a zahrnuje komplexní řetězec odpovědnosti.
Současná právní úprava, a to jak v EU, tak v České republice, vychází ze základního principu: odpovědnost v konečném důsledku nese člověk, nikoli robot či algoritmus. AI je vnímána jako nástroj, byť velmi pokročilý. Finální rozhodnutí a odpovědnost za něj zůstává v rukou lidského experta.
V případě pochybení se zkoumá odpovědnost na několika úrovních:
S masivním nástupem AI do medicíny se postupně promění i samotný výklad standardu náležité odborné péče. Jakmile se používání určitého diagnostického AI nástroje, který prokazatelně zvyšuje přesnost (např. o 5 % u záchytu karcinomu), stane běžným standardem v oboru, bude se od lékaře očekávat, že tento nástroj umí používat.
Z toho vyplývá, že profesní povinnost lékaře se rozšíří. Nebude zahrnovat jen medicínské znalosti, ale i "AI gramotnost": schopnost správně používat, interpretovat a v případě potřeby i kriticky zhodnotit a odmítnout výstupy standardních technologických nástrojů. Selhání v této oblasti by v budoucnu mohlo být posuzováno jako forma profesního pochybení. Pro nemocnice a kliniky z toho plyne nová povinnost: nejen tyto nástroje pořídit, ale také zajistit a důkladně dokumentovat proškolení svého personálu. Právníci ARROWS mohou pomoci s aktualizací pracovních smluv a interních předpisů tak, aby odrážely tyto nové technologické kompetence a odpovědnosti.
Situaci dále komplikuje fakt, že návrh specifické evropské směrnice o odpovědnosti za umělou inteligenci, která měla poškozeným usnadnit dokazování, byl na počátku roku 2025 stažen. Vzniklo tak právní vakuum. V praxi to znamená, že klíčovým a v podstatě jediným efektivním nástrojem pro rozdělení rizik a odpovědností mezi vývojářem a nemocnicí se stává precizně sepsaná smlouva.
Teoretické znalosti jsou důležité, ale v byznysu rozhodují praktické kroky a schopnost řídit rizika. Nedodržení pravidel stanovených AI Actem a GDPR není jen akademickým prohřeškem; je spojeno s drakonickými finančními sankcemi, které mohou být pro firmu či nemocnici likvidační.
AI Act, podobně jako GDPR, stanovuje výši pokut v závislosti na závažnosti porušení a globálním obratu společnosti. Je důležité si uvědomit, že tato rizika se mohou sčítat – jedno pochybení při implementaci AI může vést k postihu podle obou nařízení současně.
Tabulka 2: Srovnání sankcí – Rizika nesouladu s AI Act a GDPR
Porušení |
Maximální sankce dle AI Actu |
Maximální sankce dle GDPR |
Příklad z praxe |
Použití zakázané AI praktiky |
Až 35 milionů EUR nebo 7 % z celosvětového ročního obratu (podle toho, co je vyšší). |
N/A |
Nemocnice by nasadila systém, který na základě sociálního profilu pacienta (např. příjmu) upřednostňuje v přístupu k péči. |
Nedodržení povinností u vysoce rizikové AI |
Až 15 milionů EUR nebo 3 % z celosvětového ročního obratu. |
N/A |
Výrobce uvede na trh diagnostický AI software bez provedení posouzení shody, bez technické dokumentace nebo bez zajištění lidského dohledu. |
Porušení zásad zpracování osobních údajů |
N/A |
Až 20 milionů EUR nebo 4 % z celosvětového ročního obratu. |
AI systém je trénován na zdravotních datech pacientů bez platného právního titulu (např. bez souhlasu) nebo jsou data nedostatečně zabezpečena. |
Poskytnutí nesprávných informací úřadům |
Až 7,5 milionu EUR nebo 1,5 % z celosvětového ročního obratu. |
Až 10 milionů EUR nebo 2 % z celosvětového ročního obratu. |
Firma při kontrole předloží dozorovému orgánu nepravdivou nebo zavádějící dokumentaci o svém AI systému nebo o zpracování osobních údajů. |
Kromě přímých finančních pokut hrozí i další vážné následky: nařízení stažení systému z trhu, soudní spory o náhradu škody s poškozenými pacienty a v neposlední řadě obrovská reputační újma.
Vzhledem k nejasnostem v oblasti zákonné odpovědnosti je smlouva mezi vámi (jako nemocnicí či klinikou) a dodavatelem AI řešení naprosto klíčovým nástrojem pro řízení rizik. Jako uživatel máte podle AI Actu povinnost prověřovat své dodavatele. Vaše smlouva musí být vaší pojistkou. Právníci ARROWS při přípravě a revizi těchto smluv kladou důraz zejména na následující klauzule:
Fiktivní příklad založený na reálné praxi
Krajská nemocnice se rozhodla implementovat inovativní AI nástroj od českého startupu pro analýzu CT snímků. Management si byl vědom obrovských klinických přínosů, ale zároveň měl obavy z nových právních rizik. Obrátili se na advokátní kancelář ARROWS.
Výsledek: Nemocnice mohla inovativní technologii nasadit s jistotou, že splnila všechny regulatorní požadavky. Měla právně zajištěn vztah s dodavatelem a minimalizovala riziko sankcí i odpovědnostních sporů. Z potenciální právní noční můry se stala bezpečná a úspěšná inovace.
Umělá inteligence bezpochyby představuje jednu z největších revolucí v historii medicíny. Její potenciál zlepšit diagnostiku, zefektivnit léčbu a zachraňovat životy je obrovský. Jak jsme však ukázali v tomto reportu, tato technologická vlna s sebou přináší komplexní a nekompromisní regulatorní rámec v podobě AI Actu a zpřísněných požadavků GDPR. Pro management nemocnic, kliniky a inovátory v oblasti med-tech již není otázkou zda, ale jak se s touto novou realitou vypořádat.
Ignorování těchto pravidel není strategie, je to hazard s rizikem milionových pokut, soudních sporů a poškození reputace, kterou jste léta budovali. Naopak, proaktivní a strategický přístup k právní compliance se stává klíčovým faktorem úspěchu. Umožňuje nejen minimalizovat rizika, ale také budovat důvěru u pacientů i partnerů a získat rozhodující konkurenční výhodu.
Advokátní kancelář ARROWS v této nové éře stojí po vašem boku. Naši experti se specializují na propojení světa technologií a práva. Rozumíme nejen paragrafům, ale i praktickým potřebám vašeho byznysu a klinické praxe. Neposkytujeme jen obecné právní rady; nabízíme konkrétní, na míru šitá řešení, která vám umožní inovovat s jistotou a klidem. Naše služby zahrnují:
Umělá inteligence přináší revoluci do zdravotnictví. Nenechte právní nejistotu, aby brzdila váš pokrok. Kontaktujte nás ještě dnes a zjistěte, jak vám expertní tým ARROWS pomůže přeměnit regulatorní výzvy v bezpečnou a úspěšnou inovaci.