Vyjádření České asociace umělé inteligence k „health“ AI modelům (ChatGPT Health a další)

AI do zdravotnictví ano a rychle. Pomůže zachránit životy. Ale bezpečně a s certifikovanými prostředky. Velké modely zaměřující se na zdravotnictví certifikaci nemají a měli bychom o tom edukovat lékaře i společnost. Tvrdí Česká asociace umělé inteligence i odborná společnost. 

Česká asociace umělé inteligence (ČAUI) a její zdravotnická skupina vnímá nástup „health“ režimů generativních modelů jako významný posun. Současně ale upozorňuje, že klíčové je nepřekročit hranici, za kterou se z asistenčního nástroje stává klinická rozhodovací podpora a vzniká reálné riziko pro pacienty i celý systém.

„Zaměření velkých AI modelů na zdravotní problematiku je posun vpřed. Co však bohužel není dobře, je fakt, že si již dnes někteří ve zdravotnictví vypomáhají s dotazy na ChatGPT. Je to také cesta nebezpečná, protože může být vysoce riziková pro pacienty, snadno vytvářet nesplnitelná očekávání a v krajním případě podrývat ty, kteří AI zavádějí správně a podle pravidel,“ říká Matěj Misař, předseda zdravotnické sekce České asociace umělé inteligence (ČAUI) a člen výboru pro AI na Ministerstvu zdravotnictví.

„Jakmile AI jakýmkoli způsobem ovlivňuje klinické rozhodování, jsme v režimu klinické rozhodovací podpory. A tam už bez certifikace zdravotnického prostředku podle MDR nemá co dělat,“ doplňuje Misař.

Podle Misaře nejde jen o situace, kdy model přímo „stanoví diagnózu“. Hranice se překročí i ve chvíli, kdy generativní model upravuje klinický text tak, že mění význam, doplňuje ho o nové závěry nebo začne navrhovat další vyšetření či léčbu.

„Nejde jen o to, když AI řekne ‘tohle je diagnóza’. Stačí, když začne doplňovat nebo přepisovat klinický text tak, že mění význam, nebo začne navrhovat další vyšetření a léčbu. To už je klinika a musí to podléhat pravidlům. Nástroje od velkých hráčů OpenAI, Anthropic nebo Google nejsou certifikované zdravotnické prostředky,“ říká Misař.

Odborný pohled lékaře: Asistent pro dokumentaci, ne náhrada rozhodování

Pragmatický klinický pohled k tématu doplňuje doc. MUDr. Ondřej Volný, Ph.D., neurolog ve FN Ostrava, proděkan pro vědu a výzkum Lékařské fakulty Ostravské univerzity a předseda odborné společnosti ČSAIM ČLS JEP, který byl navíc oceněn cenou České asociace umělé inteligence v rámci ocenění osobnosti.ai 2025 v kategorii Zdravotnictví. 

„Jde o užitečného asistenta pro časově náročnou dokumentaci, nikoli o náhradu lékařského rozhodování,“ uvádí Volný. „Může pomoci se sumarizací anamnézy nebo přípravou propouštěcích zpráv.“

Zároveň ale zdůrazňuje nutnost lidské kontroly a validace: „Každý výstup vyžaduje kritické zhodnocení a validaci.“ A dodává i systémový rozměr: „Bez AI gramotnosti hrozí nekritické spoléhání na technologii, která nikdy nemůže převzít odpovědnost za pacienty.“

Data a prostředí: Bez garantované ochrany je to špatně už na startu

ČAUI upozorňuje, že veřejně dostupné modely přinášejí nejen klinické, ale i bezpečnostní riziko. Zdravotnictví pracuje s nejcitlivějšími daty a použití nástroje mimo kontrolované prostředí může vytvářet nejasnosti i vůči pravidlům ochrany dat.

„Zdravotnictví pracuje s nejcitlivějšími informacemi, které člověk má. Tady se nesmí spoléhat na to, že ‘nějak to dopadne’. ‘Health’ modely vítáme, ale pouze tehdy, pokud běží v prostředí s garantovanou ochranou dat, řízenými přístupy a auditovatelností,“ říká Misař.

Volný k tomu přidává upozornění na rizika nekritického přebírání výstupů a na „nejasnosti v oblasti ochrany citlivých zdravotních dat podle GDPR“.

Co se může stát, když se AI používá špatně?

Asociace považuje za důležité pojmenovat praktické dopady, pokud budou podobné nástroje masově využívány bez pravidel, a to jak zdravotníky, tak širokou veřejností.

„Mám obavu z toho, co se stane, až budou ‘health’ modely běžně v ruce každému. Začne přibývat falešný klid, zbytečná panika a víc konfliktů v ordinacích. Lidé mohou přijít s ‘diagnózou z chatu’ a budou se hádat s lékaři,“ říká Misař.

Typické scénáře, které si umí představit každý:

• Falešný klid: Člověk dostane uklidnění, odloží lékaře a přijde pozdě. „AI mi řekla, že to nic není“ v reálném životě může znamenat zbytečný průšvih.
  
• Zbytečná panika: Model vyjmenuje závažné diagnózy, člověk se vyděsí a jede na pohotovost, i když to akutní není. Výsledkem je stres pacienta i další zátěž systému.
  
• Hádání v ordinaci: Pacient přijde s tím, že „AI doporučila CT nebo antibiotika“ a očekává, že lékař to jen potvrdí. Lékař pak místo práce s pacientem vysvětluje limity nástroje a napravuje očekávání.

„Jednou to člověka uklidní a on přijde pozdě. Podruhé ho to vyděsí a pojede zbytečně na pohotovost. A potřetí to zhorší důvěru mezi pacientem a lékařem,“ shrnuje Misař.

Doporučení ČAUI: AI ve zdravotnictví ano a hned, všude kde se dá, ale vždy správně zavedenou

ČAUI zdůrazňuje, že cesta dopředu není AI brzdit, naopak nutnost je její široká podpora k zavádění v administrativě i diagnostice. Misař ale apeluje na to, abychom ji zaváděli správně podle pravidel, v kontrolovaném prostředí a s jasnou odpovědností.

„AI se má stát standardem zdravotní péče. Standard ale znamená, že tomu můžeme věřit, že to funguje předvídatelně, že to ukáže to, co má, a že to prošlo certifikací autoritou, která garantuje bezpečnost a kvalitu,“ říká Misař.

ČAUI doporučuje držet několik jednoduchých pravidel, která jsou srozumitelná i mimo odbornou komunitu:

1. Klinika nejdřív, certifikace vždy: Pokud jde o klinické rozhodování, první volba má být certifikované řešení. V Česku existuje řada systémů, které tuto cestu prošly (např. Carebot, Kardi AI, Aireen) a jsou postavené na jasném klinickém účelu, validaci a regulaci.
   
   • Když jde o zdraví, nechcete „radu z internetu“, chcete ověřený postup a odpovědnost.
     
2. Necertifikované generativní nástroje jen administrativně: Přepis, struktura, dohledání zdrojů. Ne doporučení, ne diagnóza, ne návrh léčby.
   
   • Ať vám to přepíše text do odrážek, ale ať vám to nepíše závěry.
     
3. Oddělit přepis od „domýšlení“: Jakmile nástroj začne doplňovat klinický obsah, jsme v režimu klinické rozhodovací podpory a musí se to kvalifikačně posoudit podle MDR.
   
   • Je rozdíl mezi tím, když vám někdo přepíše dopis, a když vám ho začne přepisovat „po svém“ a přidá doporučení.
     
4. Vždy lidská kontrola: Cokoli, co se propíše do dokumentace nebo ovlivní pacienta, musí projít kritickým zhodnocením a schválením lékařem.
   
   • „Každý výstup vyžaduje kritické zhodnocení a validaci.“
     
5. AI gramotnost jako povinný základ: Bez systematického vzdělávání hrozí nekritické spoléhání na výstupy a riziko chyb.
   
   • „Bez AI gramotnosti hrozí nekritické spoléhání na technologii.“
     

„Podporujme ty, kteří to dělají dobře a podle pravidel. Ne proto, že by papír byl důležitější než inovace, ale proto, že ve zdravotnictví rozhodujeme o lidech. AI ano a rychle, všude kde je to možné. V hodnocení snímků, časnému záchytu rakoviny i administrativě, ale vždy správně a bezpečně zavedenou,“ uzavírá Misař.