Umělá inteligence v sociálních službách - praxe a právo

Využití umělé inteligence v sociálních službách přináší revoluci v efektivitě a personalizaci péče. Nasazení AI však spouští nové, komplexní právní povinnosti, které musí poskytovatelé (korporace, SME i veřejný sektor) bezodkladně řešit. V tomto článku získáte jasné odpovědi na to, jaká právní rizika přináší nařízení AI Act a GDPR při práci s citlivými daty, kdy se z AI stává vysoce rizikový systém a kdo ponese odpovědnost za chyby algoritmu vedoucí ke škodám.

Potřebujete s tématem poradit? Obraťte se na advokátní kancelář ARROWS na e-mail office@arws.cz nebo telefon +420 245 007 740. Váš dotaz rád zodpoví "Mgr. Jan Pavlík", expert na dané téma.

AI v sociální péči už není sci-fi: Kde se s ní reálně setkáte?

Umělá inteligence již není vzdálenou vizí, ale každodenním nástrojem, který mění podobu sociální práce. Hlavní motivací pro její zavádění je snaha o efektivitu – potřeba zvládat rostoucí objemy administrativy a uvolnit ruce přetíženým sociálním pracovníkům.

V praxi se setkáváme s AI v několika podobách. Běžné je využití pro automatizaci dokumentace, jako je přepis řeči na text při jednání s klienty nebo automatizované zápisy do interních systémů. Stále častěji se objevují také inteligentní chatboty a virtuální asistenti, kteří poskytují základní sociální poradenství a navigují klienty v nepřehledných situacích.

Pokročilejší systémy, které jsou v zahraničí již testovány, jdou ještě dál. Využívají prediktivní analýzu k odhadu rizik (např. rizika pádů u seniorů nebo nutnosti hospitalizace), umožňují vzdálený monitoring klientů a aktivně podporují rozhodování sociálních pracovníků při plánování péče.

Právě tato honba za efektivitou však skrývá jádro právního problému. Čím efektivnější a "chytřejší" je AI při analýze klienta, tím hlouběji zasahuje do jeho soukromí a tím vyšší právní riziko pro vás jako poskytovatele představuje.

Právníci ARROWS běžně posuzují dopady implementace nových technologií do provozu firem. Pro úvodní konzultaci k vašemu AI projektu nám napište na office@arws.cz.

Nový AI Act: Kdy se z pomocníka stává "vysoce rizikový" systém?

Nové evropské nařízení o umělé inteligenci, známé jako AI Act (Nařízení (EU) 2024/1689), je v platnosti a zavádí zcela nový regulační rámec. Nařízení rozděluje AI systémy podle míry rizika, kterou představují pro společnost a základní práva.

Pozor na zakázané praktiky

Některé AI systémy jsou považovány za natolik nebezpečné, že je AI Act zcela zakazuje. Pro sektor sociálních služeb jsou relevantní zejména dva zákazy:

1. Systémy "sociálního skóringu": Jakékoli AI, které hodnotí důvěryhodnost osob na základě jejich sociálního chování nebo osobních charakteristik, což vede k jejich znevýhodnění.

2. Manipulativní systémy: AI, které využívají zranitelnosti specifických skupin (např. na základě věku, postižení nebo tíživé socioekonomické situace) k ovlivnění jejich chování způsobem, který jim může přivodit újmu.

FAQ – Právní tipy k AI Actu

1. Musím AI Act řešit, i když software jen kupuji od dodavatele?

Ano, AI Act rozlišuje povinnosti pro "poskytovatele" (výrobce) a "provozovatele" (uživatele). Jako provozovatel (deployer) máte vlastní povinnosti, například zajistit efektivní lidský dohled, monitorovat systém a zajistit, že vstupní data jsou relevantní. Pro revizi vašich smluv s dodavateli, která tato rizika ošetří, nás kontaktujte na office@arws.cz.

2. Jaké jsou lhůty pro splnění povinností?

AI Act již vstoupil v platnost, ale jednotlivé povinnosti nabíhají postupně. Zákazy nepřijatelných systémů se začnou uplatňovat nejdříve (již v roce 2025), zatímco plné povinnosti pro vysoce rizikové systémy typicky do 24 až 36 měsíců. Vzhledem ke složitosti implementace je však nutné zahájit přípravu okamžitě. Pro přípravu harmonogramu implementace AI Act nás kontaktujte na office@arws.cz.

Spadá vaše AI do kategorie "vysokého rizika" (High-Risk)?

Toto je klíčová kategorie, která s největší pravděpodobností dopadne na většinu poskytovatelů sociálních služeb. Systémy jsou klasifikovány jako "vysoce rizikové" (high-risk), pokud spadají do seznamu v Příloze III nařízení.

Pro sociální služby se to týká zejména systémů určených pro:

• Posuzování nároku na veřejné dávky a služby a rozhodování o jejich přiznání, zamítnutí, snížení nebo odebrání.
• Hodnocení rizik jednotlivců (např. predikce "zneužívání" dávek nebo rizika pro dítě v rodině).
• Jakékoli profilování fyzických osob v těchto souvislostech, tedy automatizované zpracování údajů k hodnocení aspektů klienta.

Hranice mezi "vysoce rizikovým" systémem pro predikci rizik a zcela "zakázaným" sociálním skóringem může být přitom velmi tenká. Management firem často nemusí tušit, že jejich nový nástroj na "predikci fraudu" je ve skutečnosti na hraně, nebo již za hranou zákona. Nesprávná klasifikace AI je existenčním rizikem, protože na vysoce rizikové systémy dopadají desítky nových povinností.

Prvním krokem musí být právní audit a klasifikace vašich AI nástrojů. Naši experti na AI Act posoudí, zda vaše systémy spadají do kategorie vysokého rizika (nebo dokonce nepřijatelného rizika) a jaké povinnosti musíte splnit. Zajistěte si právní jistotu a napište nám o audit na office@arws.cz.

Klíčové povinnosti podle AI Actu

Pokud váš systém spadne do kategorie vysokého rizika, čelíte komplexním právním povinnostem. Jejich zanedbání povede k vysokým sankcím.

Rizika a sankce (AI Act)	Jak pomáhá ARROWS
Používání zakázaného systému AI (např. sociální skóring) vedoucí k pokutám v řádech desítek milionů EUR.	Právní klasifikace AI systémů – ověříme, zda vaše nástroje nespadají do zakázané kategorie. Zjistěte více na office@arws.cz.
Nesplnění povinností pro vysoce rizikové AI (chybějící lidský dohled, nekvalitní data, špatná kyberbezpečnost).	Příprava kompletní compliance dokumentace dle AI Act (AI Governance), včetně nastavení interních směrnic.
Chybějící technická dokumentace a záznamy o provozu, které požaduje regulátor při kontrole.	Audit a příprava podkladů stanovených zákonem – zajistíme, abyste při kontrole obstáli. Spojte se s námi na office@arws.cz.
Uvedení systému na trh bez posouzení shody a registrace do databáze EU.	Právní poradenství při posouzení shody a zastupování u regulátorů. Potřebujete pomoc s registrací? Napište na office@arws.cz.

GDPR jako trvalá výzva: Zvládáte zpracování citlivých dat?

Je zásadní si uvědomit, že AI Act nijak neruší ani nenahrazuje GDPR. Obě nařízení platí souběžně. AI Act řeší bezpečnost a rizika technologie, ale GDPR stále upravuje právní základ (titul) pro samotné zpracování osobních údajů, které AI systémy využívají.

Poskytovatelé sociálních služeb přitom téměř výhradně zpracovávají "zvláštní kategorie osobních údajů" (údaje o zdravotním stavu, sociální situaci, etnickém původu atd.). Jejich zpracování je podle článku 9 GDPR obecně zakázáno, pokud neexistuje silná zákonná výjimka.

Navíc, pokud AI provádí automatizované rozhodování, které má právní účinky (např. rozhodnutí o přiznání dávky), dostáváte se do přísného režimu článku 22 GDPR, který takové praktiky zásadně omezuje.

Kdy je nezbytné posouzení vlivu (DPIA)?

Pro jakékoliv rozsáhlé zpracování citlivých údajů nebo pro systematické monitorování a profilování pomocí nových technologií (což AI je), je povinné provést Posouzení vlivu na ochranu osobních údajů (DPIA). V kontextu nasazení AI v sociálních službách je DPIA prakticky vždy absolutní nutností.

DPIA není jen formalita. Je to vaše preventivní analýza rizik. Pokud dojde k bezpečnostnímu incidentu nebo stížnosti na diskriminaci, první otázka Úřadu pro ochranu osobních údajů (ÚOOÚ) bude: "Máte DPIA?". Pokud ne, je to automaticky pokuta. Pokud ano, ÚOOÚ zkoumá, zda jste rizika identifikovali správně a přijali adekvátní opatření.

Kvalitně zpracované DPIA je vaší první linií obrany proti sankcím ÚOOÚ. Naši specialisté na GDPR a AI se specializují na vyhotovení a revize DPIA pro komplexní technologické projekty. Ochraňte se před pokutami a napište nám na office@arws.cz.

Hrozba algoritmické diskriminace: Jak zajistit férovost?

Systémy umělé inteligence nejsou z podstaty neutrální. Učí se z "trénovacích dat", která jim dodáte. Pokud jsou vaše historická data (např. záznamy o úspěšných a neúspěšných žadatelích o dávky) zatížena skrytými lidskými předsudky, AI se tyto předsudky naučí a bude je systematicky replikovat, často i zesilovat.

Tomuto jevu se říká algoritmická diskriminace (algorithmic bias). V praxi to může znamenat, že AI automaticky zamítne žádost klienta jen proto, že bydlí v "rizikové" čtvrti nebo patří k určité skupině, kterou se systém naučil spojovat s negativními výsledky.

Takové rozhodnutí je nejen eticky problematické, ale představuje přímé porušení antidiskriminační legislativy, které může vést k soudním sporům a vážnému poškození vaší reputace. Nemůžete se bránit tím, že "to udělala AI". Jako provozovatel nesete plnou odpovědnost.

Prevence algoritmické diskriminace leží v právním nastavení interních procesů a zejména ve smlouvách s dodavateli. Právníci ARROWS vám pomohou nastavit kontrolní mechanismy a připravit smluvní dokumentaci, která přenese část odpovědnosti za "bias" na dodavatele AI. Pro právní konzultace k zajištění férovosti algoritmů nás kontaktujte na office@arws.cz.

GDPR a datová rizika při nasazení AI

Vedle AI Actu zůstávají v platnosti veškerá rizika plynoucí z GDPR, která jsou v sektoru sociálních služeb obzvláště vysoká.

Rizika a sankce (Data a GDPR)	Jak pomáhá ARROWS
Zpracování zvláštních kategorií údajů (zdraví, sociální situace) bez platného právního titulu (čl. 9 GDPR).	Právní analýza (stanovisko) k zákonnosti zpracování dat ve vašich AI systémech. Potřebujete právní stanovisko? Napište na office@arws.cz.
Chybějící nebo nedostatečné Posouzení vlivu (DPIA), vedoucí k přímé pokutě od ÚOOÚ.	Příprava a revize DPIA na klíč – ochráníme vás před sankcemi regulátora. Zajistěte si DPIA audit na office@arws.cz.
Algoritmická diskriminace vedoucí k žalobám na náhradu škody a poškození reputace.	Právní konzultace k nastavení AI governance a implementace mechanismů pro férovost. Chcete předejít sporům? Kontaktujte nás na office@arws.cz.
Neschopnost vysvětlit rozhodnutí AI ("black box") a dostát právu na informace a transparentnost.	Příprava interních směrnic a informací pro subjekty údajů, které splňují požadavky GDPR na transparentnost. Pište na office@arws.cz.

Kdo zaplatí škodu, když AI chybuje?

Představte si situaci, kdy vaše AI nesprávně vyhodnotí situaci klienta, neoprávněně mu odepře nezbytnou péči nebo dávku a způsobí mu tím prokazatelnou škodu. Kdo to zaplatí? Vy jako provozovatel, nebo dodavatel AI?

Evropské právo přináší v této oblasti "dvojí úder". Za prvé, AI Act stanovuje jasné povinnosti pro poskytovatele i provozovatele (zajištění kvalitních dat, robustnosti, lidského dohledu). Za druhé, nová směrnice o odpovědnosti za vadné výrobky (PLD) explicitně zahrnuje software a AI systémy pod definici "produktu".

To v praxi znamená, že výrobce (poskytovatel AI) nese objektivní odpovědnost za vady svého produktu. Poškozený klient tak již nemusí prokazovat zavinění, stačí mu prokázat tři věci: 1) vadu AI systému, 2) vzniklou škodu a 3) příčinnou souvislost mezi vadou a škodou.

A v tom je jádro věci: Porušení některé z povinností stanovených v AI Actu (např. nedostatečný lidský dohled) bude u soudu považováno za klíčový důkaz o "vadě" produktu. Soulad s AI Actem tedy není jen o prevenci pokut od regulátora. Je to vaše klíčová obranná strategie v soukromoprávních sporech o náhradu škody.

Naši právníci jsou experty na oblast náhrady škody a procesní právo. V případě incidentu vám poskytneme zastupování u soudů a správních orgánů a pomůžeme bránit vaše práva proti nárokům poškožených. Pro okamžité řešení vaší situace nám napište na office@arws.cz.

Vybíráte AI dodavatele z USA? Pozor na smlouvy a přenos dat

Většina pokročilých AI nástrojů pochází od globálních dodavatelů, často se sídlem v USA. Pokud jako poskytovatel sociálních služeb využíváte takový nástroj pro zpracování dat o klientech, dochází k předávání osobních údajů do třetí země.

Toto předávání podléhá přísným pravidlům Kapitoly V GDPR. Musíte mít zajištěn platný právní nástroj pro předání, typicky buď rozhodnutí o odpovídající ochraně (např. certifikace dodavatele v rámci EU-U.S. Data Privacy Framework – DPF) nebo uzavřené Standardní smluvní doložky (SCC).

Kdo Vám s tímto problémem poradí?

I pokud dodavatel garantuje uložení dat v EU, stále existuje riziko, že americké orgány mohou o data požádat na základě amerických zákonů (jako je CLOUD Act), což je v přímém konfliktu s GDPR.

Smlouva jako vaše jediná ochrana

Vaší klíčovou obranou je precizně vyjednaná smlouva. Dodavatelé AI se standardně snaží veškerou odpovědnost přenést na vás. Budou tvrdit, že vy nesete plné riziko za diskriminaci, úniky dat nebo chybné rozhodnutí algoritmu.

Je nezbytné ve smlouvě vyjednat:

• Explicitní záruky (compliance warranties), že nástroj splňuje požadavky AI Act a GDPR.
• Právo na audit algoritmů a trénovacích dat.
• Silné klauzule o odškodnění (indemnification) pro případ, že vás AI systém dostane do právních problémů.

Díky naší mezinárodní síti ARROWS International řešíme denně problematiku přeshraničních smluv a mezinárodního přenosu dat. Zajistíme přípravu a revizi smluv s vašimi AI dodavateli tak, aby chránily vás, nikoli jen je. Spojte se s námi na office@arws.cz a získejte právní řešení na míru pro váš mezinárodní nákup technologií.

Komplexní právní podpora AI od ARROWS

Nasazení umělé inteligence v sociálních službách je komplexní právní úkol na pomezí AI Actu, GDPR, kybernetické bezpečnosti a odpovědnosti za škodu.

Naše zkušenosti mluví za nás: Dlouhodobě poskytujeme služby pro více než 150 akciových společností, 250 s.r.o. a 50 obcí a krajů. Rozumíme potřebám korporátních klientů i specifickým požadavkům veřejného sektoru. Zakládáme si na rychlosti, vysoké kvalitě právních služeb a komerčním pohledu na věc.

ARROWS vám v oblasti AI nabízí komplexní služby:

• Právní audity souladu s AI Act a GDPR.
• Vyhotovení interních směrnic (AI Governance) a příprava DPIA.
• Příprava a revize smluv s dodavateli AI (včetně mezinárodních).
• Odborná školení pro zaměstnance či vedení v oblasti AI compliance.
• Zastupování u soudů a správních orgánů (ÚOOÚ).

Udělejte z AI konkurenční výhodu, nikoli právní riziko. Naši právníci jsou připraveni vám pomoci – napište na office@arws.cz a domluvte si úvodní konzultaci.

FAQ – Nejčastější právní dotazy k AI v sociálních službách

1. Spadá běžný chatbot na našem webu pod AI Act?

Záleží na jeho funkci. Běžný chatbot, který jen odpovídá na dotazy (omezené riziko), bude mít jen mírné povinnosti transparentnosti – musíte uživatele informovat, že komunikuje s AI. Pokud by ale tentýž chatbot prováděl například předběžné hodnocení nároku na dávku nebo sbíral citlivé údaje pro profilování, byl by s vysokou pravděpodobností klasifikován jako vysoce rizikový.Pro přesnou klasifikaci vašeho řešení nás kontaktujte na office@arws.cz.

2. Jaký je postih za použití "nepřijatelné" AI, i když o tom nevíme?

Neznalost zákona neomlouvá. Použití zakázaného systému (např. sociální skóring) je nejtěžší porušení AI Actu. Pokuty mohou dosáhnout až 35 milionů EUR nebo 7 % celosvětového ročního obratu. Právě proto je právní audit před nasazením jakéhokoli AI nástroje naprosto klíčový. Pro audit rizikovosti vašich nástrojů pište na office@arws.cz.

3. Jaký je hlavní rozdíl mezi DPIA (GDPR) a posouzením rizik (AI Act)?

DPIA se zaměřuje výhradně na rizika pro práva a svobody fyzických osob v souvislosti s ochranou jejich osobních údajů. Posouzení rizik dle AI Actu je širší – hodnotí rizika pro základní práva (např. diskriminaci), ale také pro zdraví a bezpečnost. Jsou to dva samostatné, i když částečně se překrývající, povinné dokumenty. Pomůžeme vám efektivně zkombinovat obě posouzení. Ozvěte se na office@arws.cz.

4. Musím mít "lidský dohled" i u jednoduché administrativní AI?

AI Act vyžaduje účinný lidský dohled (human oversight) primárně u vysoce rizikových systémů. Cílem je mít možnost kdykoli chybné rozhodnutí AI zvrátit nebo opravit. U systémů s minimálním rizikem (např. pouhý přepis textu) taková povinnost není. Klíčové je proto správné určení rizika.

5. Naše AI data anonymizuje. Týká se nás GDPR?

Zde je třeba velká opatrnost. Skutečná anonymizace (kdy data nelze nijak a nikdy spojit zpět s konkrétní osobou) vyjímá data z působnosti GDPR. Většina AI systémů však v praxi provádí pouze pseudonymizaci (nahrazení jmen kódy, šifrování apod.), kde technická možnost spojení stále existuje. Taková data jsou stále osobními údaji a GDPR se na ně plně vztahuje. Pro posouzení vašeho datového modelu se obraťte na naši kancelář – office@arws.cz.

Nechcete tenhle problém řešit sami? Advokátní kanceláři ARROWS věří více než 2000 klientů a jsme oceněni jako Právnická firma roku 2024. Podívejte se ZDE na naše reference a bude nám ctí pomoci vám při řešení vašeho problému. Poptávka je zdarma.