Může lékař v praxi používat ChatGPT?

Používáte umělou inteligenci jako ChatGPT pro přípravu lékařských zpráv, rešerše odborných studií nebo komunikaci s pacienty? Pokud ano, zpozorněte. Tento článek vám poskytne jasné odpovědi na to, kde leží právní hranice pro využití AI ve zdravotnictví. Dozvíte se, jaká konkrétní rizika vám hrozí, jaká je odpovědnost lékaře a jaké nové povinnosti přináší revoluční evropská legislativa.

Autor článku: ARROWS advokátní kancelář (Mgr. MUDr. Veronika Králíková, office@arws.cz, +420 245 007 740)

Dva světy umělé inteligence v medicíně: Proč není AI jako AI?

V první řadě je nutné pochopit, že z právního hlediska existují dva zcela odlišné světy umělé inteligence. Jejich zaměňování je prvním a nejčastějším krokem k vážným problémům. Na jedné straně stojí obecně dostupné nástroje, jako je právě ChatGPT, a na druhé straně certifikované zdravotnické prostředky využívající AI.

První skupinu tvoří takzvané obecné modely umělé inteligence (General-Purpose AI). Jsou to neuvěřitelně výkonné technologie, které ale nebyly navrženy, testovány ani schváleny pro použití v medicíně.

Jejich využití pro stanovení diagnózy nebo návrh léčby je z právního pohledu podobné, jako byste si nechali poradit od anonymního zdroje na internetu. I když může být odpověď zdánlivě správná, samotný akt jejího použití v klinickém kontextu může být v rozporu s řadou právních předpisů a mít pro lékaře vážné důsledky.

Druhou, zcela odlišnou kategorií, jsou certifikované AI zdravotnické prostředky. Jedná se o specializovaný software, který prošel přísným procesem posouzení shody podle evropských nařízení, typicky nařízení o zdravotnických prostředcích (MDR).

Příkladem z české praxe je nástroj Carebot, který získal certifikaci pro analýzu rentgenových snímků. Pouze takové nástroje jsou legálně určeny pro podporu klinického rozhodování.

Mnoho lékařů vnímá ChatGPT jako další z řady nástrojů pro zvýšení produktivity, podobně jako textový editor nebo tabulkový procesor. Toto vnímání je však 

nebezpečnou iluzí. Ve chvíli, kdy výstup z takového nástroje jakkoli ovlivní klinické uvažování – ať už jde o shrnutí poznámek, formulaci doporučení pro pacienta, nebo rešerši léčebných postupů – překračuje lékař etickou i právní hranici.

Nástroj se z neškodného pomocníka mění na neregulovaného a neschváleného medicínského poradce, což je jádrem celého problému. Nebezpečí tedy nespočívá jen v potenciálně chybné odpovědi AI, ale v samotném aktu použití necertifikovaného nástroje pro lékařský účel. Právníci v ARROWS pomáhají klientům provést úvodní audit používaných technologií a jasně definovat, které nástroje spadají do regulované kategorie a jaká rizika se s těmi neregulovanými pojí.

ChatGPT jako (ne)bezpečný pomocník: Kde přesně číhají právní pasti?

Používání obecných AI nástrojů v klinické praxi s sebou nese dvě hlavní, vysoce rizikové právní pasti: masivní porušení ochrany osobních údajů (GDPR) a absolutní nespolehlivost výstupů, za kterou nese plnou odpovědnost lékař.

Zadávání jakýchkoli informací, které by mohly vést k identifikaci pacienta, do veřejně dostupných AI nástrojů, je přímým a závažným porušením GDPR. To platí i pro zdánlivě anonymizovaná data. Zdravotní údaje patří mezi zvláštní kategorie osobních údajů a jejich ochrana podléhá nejpřísnějšímu režimu.

I zdánlivě nevinné zkopírování poznámek z vyšetření za účelem jejich shrnutí může vést k úniku citlivých dat na servery třetích stran, nad kterými nemáte žádnou kontrolu.

Následky mohou být likvidační. Pokuty za porušení GDPR v sektoru zdravotnictví v EU dosahují milionů eur. Například francouzská společnost Dedalus Biologie dostala pokutu 1,5 milionu eur za nedostatečné zabezpečení dat, které vedlo k úniku informací o HIV statusu či genetických onemocněních pacientů. Estonská firma Asper Biogene čelila masivnímu úniku genetických dat 10 000 klientů, což vedlo k trestnímu vyšetřování a vydírání pacientů.

Největší riziko přitom nespočívá ve zlém úmyslu, ale v pokušení zjednodušit si práci. Právě proto se ARROWS specializuje na přípravu interních směrnic (AI Policy) a školení pro zaměstnance, které nastavují jasná pravidla pro práci s AI a chrání tak zdravotnická zařízení před likvidačními pokutami od Úřadu pro ochranu osobních údajů.

Druhým rizikem je nespolehlivost. AI modely jako ChatGPT jsou náchylné k takzvaným "halucinacím" – generování informací, které znějí velmi přesvědčivě, ale jsou zcela smyšlené. Mohou navrhnout neexistující lék, uvést chybné dávkování nebo doporučit nesmyslnou diagnózu.

Známý je případ amerického advokáta, který byl potrestán pokutou 5 000 dolarů za to, že soudu předložil podání s citacemi neexistujících rozsudků, které mu vygeneroval ChatGPT.

Pokud taková chyba v právu stojí tisíce dolarů, v medicíně může stát zdraví nebo život pacienta. Je klíčové si uvědomit, že konečná odpovědnost za rozhodnutí zůstává vždy a bez výjimky na lékaři. Umělá inteligence je nástroj, nikoli kolega. Lékař nemůže delegovat svůj odborný úsudek na algoritmus, a pokud tak učiní a dojde k poškození pacienta, bude to on, kdo ponese plné právní následky.

Jak AI Act mění pravidla hry pro zdravotnictví

Kromě stávajících pravidel, jako je GDPR a odpovědnost za péči lege artis, vstupuje do hry zcela nový a zásadní předpis – Nařízení EU o umělé inteligenci, známé jako AI Act (32024R1689).Tento předpis, který je první komplexní regulací AI na světě, zavádí celoevropská pravidla a mění podmínky pro každé zdravotnické zařízení, které chce AI využívat.

AI Act funguje na principu rizikového přístupu. Systémy AI rozděluje do několika kategorií podle míry nebezpečí, které představují.

Prakticky všechny relevantní AI systémy ve zdravotnictví – od diagnostického softwaru přes nástroje pro plánování léčby až po systémy pro třídění pacientů (triage) – spadají do kategorie "vysoce rizikových" (high-risk).

Tato klasifikace s sebou nese řadu nových povinností nejen pro výrobce, ale především pro uživatele, tedy samotná zdravotnická zařízení. Mnoho manažerů se mylně domnívá, že zakoupením certifikovaného AI nástroje jejich povinnosti končí. Opak je pravdou.

Nevíte si s daným tématem rady?

AI Act zavádí model sdílené odpovědnosti a klade na "provozovatele" (deployers) vysoce rizikových systémů konkrétní a nevyhnutelné povinnosti. Mezi ty nejdůležitější patří:

• Zajištění lidského dohledu: Každé klíčové rozhodnutí AI musí být přezkoumatelné a ověřitelné kvalifikovaným člověkem.
• Používání systému v souladu s návodem: Personál musí být prokazatelně seznámen s tím, jak nástroj správně používat a jaká jsou jeho omezení
• Monitorování a vedení záznamů: Provozovatel musí sledovat fungování systému a uchovávat automaticky generované protokoly o jeho činnosti (logy).
• Zajištění AI gramotnosti: Zaměstnanci musí projít školením, aby rozuměli schopnostem a limitům používané AI.

Tato pravidla budou nabíhat postupně, přičemž plná aplikovatelnost pro vysoce rizikové systémy se očekává v letech 2026 a 2027. Sankce za jejich porušení jsou však drakonické – mohou dosáhnout až 35 milionů eur nebo 7 % celosvětového ročního obratu společnosti.

Je také důležité sledovat národní legislativu, jelikož klíčové země jako Německo již přijímají vlastní specifické zákony o využití zdravotnických dat (GDNG)  a Rakousko implementuje svou národní strategii (AIM AT 2030).

Díky naší mezinárodní síti ARROWS International sledujeme legislativní vývoj nejen v Bruselu, ale i v klíčových zemích jako je Německo či Rakousko. Pro naše klienty tak zajišťujeme komplexní přípravu na AI Act, včetně vyhotovení veškeré potřebné dokumentace a právních konzultací, které je chrání před budoucími kontrolami a sankcemi.

Největší právní hrozby AI ve vaší praxi a jak je řešit

Následující tabulka shrnuje nejčastější hrozby spojené se zaváděním AI do zdravotnické praxe a ukazuje, jak konkrétně vám může advokátní kancelář ARROWS pomoci tato rizika řídit a minimalizovat.

Riziko k řešení	Potenciální problémy a sankce	Jak pomáhá ARROWS
Použití necertifikované AI (např. ChatGPT) pro diagnostiku či léčbu	Postup non lege artis, profesní pochybení, žaloba na náhradu škody, trestní odpovědnost lékaře.	Právní stanovisko k posouzení rizik a zákonnosti nasazení konkrétní AI technologie.
Zpracování dat pacientů v nechráněném AI nástroji	Porušení GDPR, pokuta od ÚOOÚ až 20 mil. EUR nebo 4 % obratu, poškození reputace, ztráta důvěry pacientů.	Příprava GDPR-compliant dokumentace a interních směrnic, které chrání před únikem dat.
Chybný výstup z certifikované AI vedoucí k poškození pacienta	Soudní spor s pacientem, složité dokazování odpovědnosti (lékař vs. výrobce), finanční odškodnění.	Zastupování u soudů a správních orgánů, příprava argumentace pro spory o náhradu škody.
Nedostatečná příprava na povinnosti plynoucí z AI Actu	Nesplnění povinností pro "high-risk" systémy, budoucí sankce od dozorových orgánů, zákazy činnosti.	Odborná školení pro management a personál s certifikátem, příprava zákonem vyžadované dokumentace.
Nejasné smluvní vztahy s dodavateli AI softwaru	Absence záruk, spory o odpovědnost za chyby a data, skryté licenční podmínky, vendor lock-in.	Příprava nebo revize smluv s dodavateli, zajištění ochrany klienta a jasného vymezení odpovědnosti.
Používání AI zaměstnanci bez jasných pravidel ("shadow IT")	Nekontrolovaná právní rizika, únik obchodního tajemství, porušení povinnosti mlčenlivosti.	Vyhotovení interních směrnic (AI Policy) pro bezpečné a kontrolované používání AI nástrojů v organizaci.
Provozování AI zařízení bez potřebných povolení	Provozování zdravotnického prostředku v rozporu se zákonem, riziko zákazu a pokut od SÚKL či ministerstva.	Získání potřebných licencí a povolení od regulačních orgánů pro provoz AI zdravotnických prostředků.

Odpovědnost v éře algoritmů: Kdo zaplatí za chybu stroje?

Umělá inteligence neodstraňuje právní odpovědnost – pouze ji činí mnohem komplikovanější. Vytváří složitou síť vztahů, kde se o odpovědnost dělí lékař, zdravotnické zařízení i výrobce technologie.

Na koho se můžete obrátit?

Lékař a postup lege artis

Základním kamenem odpovědnosti lékaře je povinnost postupovat s náležitou odbornou péčí, tedy lege artis. S příchodem AI se obsah tohoto pojmu mění. Soudy a znalci budou v budoucnu posuzovat, zda lékař správně využil dostupné technologické nástroje. Slepé následování chybného doporučení AI bude jednoznačně postupem non lege artis.

Stejně tak ale může být za pochybení považováno i ignorování správného a relevantního výstupu z certifikovaného AI nástroje, který mohl vést k lepšímu výsledku pro pacienta. Klíčové zůstává, že konečné klinické rozhodnutí je vždy na lékaři a jeho odborném úsudku.

Výrobce a odpovědnost za vadný výrobek

Nově přijatá evropská směrnice o odpovědnosti za vadné výrobky (Product Liability Directive, PLD) výrazně posiluje pozici poškozených pacientů. Klíčovou novinkou je, že software je nyní explicitně považován za "výrobek".

Pokud tedy AI systém způsobí škodu, jeho výrobce může být hnán k odpovědnosti. Směrnice navíc vytváří přímé propojení mezi regulací a odpovědností: prokázání, že výrobek nesplňuje požadavky stanovené jinými předpisy (jako je právě AI Act), může být použito jako důkaz jeho vady.

Původně plánovaná samostatná směrnice o odpovědnosti za AI (AILD) byla nakonec stažena. To znamená, že neexistuje jednoduchý, jednotný návod, jak tyto spory řešit. Každý případ se bude posuzovat individuálně podle národního práva a komplexních pravidel PLD, což klade extrémní nároky na právní zastoupení.

Lékař se tak ocitá v kleštích – na jedné straně je vázán svou profesní povinností a odpovědností za konečné rozhodnutí, na druhé straně čelí složitému dokazování v případném sporu s výrobcem technologie.

Právní tým ARROWS má hluboké zkušenosti s řešením sporů o náhradu škody ve zdravotnictví a zároveň detailní znalost technologického práva. Dokážeme tak efektivně navigovat složitou otázkou odpovědnosti a chránit zájmy našich klientů, ať už na straně lékaře, nebo výrobce.

Nevíte si s daným tématem rady?

Jak zavést AI bezpečně a v souladu se zákonem: Praktický návod v 5 krocích

Správná implementace AI není jen o technologii, ale především o procesech a právním rámci. Následující kroky představují základní osnovu pro každé zdravotnické zařízení, které chce využít potenciál AI bez zbytečných rizik.

1. Proveďte AI Audit: Prvním krokem je zmapovat, jaké AI nástroje (oficiální i neoficiální, tzv. "shadow IT") vaši zaměstnanci již používají. Často budete překvapeni, co vše se ve vaší organizaci děje bez vědomí vedení. ARROWS vám pomůže s právním posouzením rizik každého nástroje.

2. Vytvořte interní AI Policy: Vytvořte jasnou a srozumitelnou interní směrnici, která definuje pravidla pro používání AI. Musí jednoznačně stanovit, které nástroje jsou povoleny, pro jaké účely a za jakých podmínek, a které jsou striktně zakázány. Vyhotovení interních směrnic na míru je jednou z našich klíčových služeb.

3. Proškolte svůj tým: Sebelepší směrnice je k ničemu, pokud o ní zaměstnanci nevědí nebo jí nerozumí. Zajistěte, aby všichni od lékařů přes sestry až po administrativní pracovníky chápali pravidla, rizika a své povinnosti. ARROWS poskytuje odborná školení pro zaměstnance i vedení, včetně certifikátu o absolvování.

4. Zrevidujte smlouvy s dodavateli: Ujistěte se, že vaše smlouvy s dodavateli AI softwaru jasně řeší otázky odpovědnosti, ochrany dat, kybernetické bezpečnosti a souladu s AI Actem. Naši právníci se specializují na přípravu a revizi technologických smluv, které chrání vaše zájmy.

5. Implementujte procesy lidského dohledu: Nastavte kontrolní mechanismy, které zaručí, že žádné klíčové klinické rozhodnutí není učiněno automaticky bez smysluplné kontroly kvalifikovaným odborníkem. Tento proces musí být zdokumentovaný a auditovatelný. Pomůžeme vám navrhnout procesy, které splňují požadavky AI Actu na lidský dohled.

Umělá inteligence je příležitost, nikoli hrozba – pokud máte správného partnera

Umělá inteligence bezpochyby přináší do zdravotnictví revoluční potenciál – od zrychlení diagnostiky až po zefektivnění administrativy. Tyto přínosy jsou však neoddělitelně spjaty s novými a komplexními právními riziky. Ignorovat je znamená vystavit se hrozbě likvidačních pokut, soudních sporů a nenapravitelného poškození reputace.

Cesta k bezpečné a úspěšné implementaci AI nevede přes zákaz technologií, ale přes jejich řízené a právně ošetřené zavedení. V ARROWS se na tuto oblast specializujeme. Naše zkušenosti z dlouhodobé péče o více než 150 akciových společností a 250 s.r.o., včetně subjektů ve zdravotnictví a farmaceutickém průmyslu, nám dávají unikátní vhled do vašich potřeb a výzev.

Zakládáme si na rychlosti, vysoké kvalitě a budování dlouhodobých vztahů. Pro naše klienty jsme nejen právními poradci, ale i partnery pro růst, které propojujeme se zajímavými obchodními a investičními příležitostmi.

Využívání AI ve vaší praxi není otázkou "zda", ale "jak". Nenechávejte svou budoucnost a bezpečnost náhodě. Kontaktujte nás ještě dnes a domluvte si úvodní konzultaci, kde zhodnotíme vaše konkrétní rizika a navrhneme kroky pro bezpečnou a úspěšnou implementaci AI ve vaší organizaci.

Nechcete tenhle problém řešit sami? Advokátní kanceláři ARROWS věří více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference a bude nám ctí pomoci vám při řešení vašeho problému. Poptávka je zdarma.