EU AI Act: Jednání jsou u konce! Co bude patřit mezi zakázané praktiky umělé inteligence?

Po 36hodinovém vyjednávacím maratonu dosáhli zákonodárci EU politické dohody o tom, co má stanovit globální měřítko pro regulaci umělé inteligence. EU AI Act reguluje umělou inteligenci na základě její schopnosti způsobit škodu.

Známe zakázané praktiky

Země EU v čele s Francií trvaly na široké výjimce pro jakýkoli systém AI používaný pro vojenské nebo obranné účely, a to i externím dodavatelem. Nařízení o AI zahrnuje seznam zakázaných aplikací, které představují nepřijatelné riziko, jako jsou manipulativní techniky, systémy využívající zranitelnost a sociální skórování. Poslanci přidali databáze založené na hromadném sběru snímků obličeje, jako je Clearview AI. Schválen byl také zákaz rozpoznávání emocí na pracovišti a ve vzdělávacích institucích, s výjimkou z bezpečnostních důvodů.

Poslanci také zavedli zákaz prediktivního policejního softwaru pro hodnocení rizika jednotlivce spáchat v budoucnosti zločiny na základě osobních vlastností. Schválen je také zákaz používání systémů AI, které kategorizují osoby na základě citlivých rysů, jako je rasa, politické názory nebo náboženské přesvědčení. Na naléhání evropských vlád Parlament zrušil zákaz používání dálkové biometrické identifikace v reálném čase výměnou za několik úzkých výjimek pro vymáhání práva, a to konkrétně k zamezení teroristických útoků nebo k nalezení obětí nebo podezřelých z předem definovaného seznamu vážných trestných činů.

Ex-post používání této technologie bude mít podobný režim, ale s méně přísnými požadavky. Poslanci se snažili, aby tyto výjimky platily pouze v nezbytně nutném rozsahu na základě vnitrostátního práva a předchozího povolení nezávislého orgánu. Komise bude dohlížet na možné zneužití. Poslanci trvali na tom, aby zákazy neplatily pouze pro systémy používané v rámci Unie, ale také aby zabránily společnostem se sídlem v EU v prodeji těchto zakázaných aplikací v zahraničí. Tento zákaz exportu však neprošel.

Případy vysokého rizika

Regulace AI zahrnuje seznam případů použití, které jsou považovány za významné riziko pro bezpečnost a lidská práva. Citlivé oblasti zahrnují vzdělávání, zaměstnání, kritickou infrastrukturu, veřejné služby, vymáhání práva, kontrolu hranic a správu spravedlnosti. Poslanci také navrhli zahrnutí doporučovacích systémů sociálních médií považovaných za „systémové“ podle zákona o digitálních službách, ale tento nápad se do dohody nedostal. Parlamentu se podařilo zavést nové případy použití, jako jsou systémy AI předpovídající migrační trendy a hraniční dohled.

Výjimky pro vymáhání práva

Poskytovatelé a veřejné orgány využívající systémy s vysokým rizikem je musí hlásit v databázi EU. Pro policejní a migrační kontrolní agentury bude existovat speciální neveřejná sekce, která bude přístupná pouze nezávislému dozorovému orgánu. Ve výjimečných okolnostech souvisejících s veřejnou bezpečností mohou orgány vymáhání práva použít systém s vysokým rizikem, který neprošel postupem hodnocení shody. Musí však požádat o soudní povolení.

Hodnocení dopadu na základní práva

Poslanci středolevého spektra zavedli povinnost pro veřejné orgány a soukromé subjekty poskytující služby obecného zájmu, jako jsou nemocnice, školy, banky a pojišťovny nasazující systémy s vysokým rizikem, provést hodnocení dopadu na základní práva.

Zodpovědnost v rámci dodavatelského řetězce

Poskytovatelé obecných AI systémů, jako je ChatGPT, musí poskytnout veškeré potřebné informace, aby splnili zákonné povinnosti vůči dalším ekonomickým subjektům v dodavatelském řetězci, které vytvářejí aplikaci spadající do kategorie vysoce rizikových.

Kromě toho jsou poskytovatelé komponent integrovaných do vysoce rizikového AI systému malými a středními podniky nebo startupy chráněni před jednostranným uvalením nespravedlivých smluvních podmínek.

Pokuty

Administrativní pokuty jsou stanoveny jako minimální částka nebo procento z celosvětového ročního obratu společnosti, pokud je vyšší.

Pro nejzávažnější porušení zákazu aplikací mohou být pokuty až 6,5 % nebo 35 milionů EUR, 3 % nebo 15 milionů EUR za porušení povinností systémových a modelových poskytovatelů a 1,5 % nebo půl milionu EUR za neposkytnutí přesných informací.

Kdy začne AI Act platit?

AI Act začne platit dva roky po svém nabytí účinnosti, což se zkracuje na šest měsíců pro zákazy. Požadavky na vysoce rizikové AI systémy, výkonné AI modely, orgány pro posouzení shody a kapitolu o správě začnou platit o rok dříve.

Komentář České asociace umělé inteligence

Jako Česká asociace umělé inteligence pečlivě sledujeme kroky Evropské unie v rámci regulace AI. Těžko předikovat, jak budou předpisy, které zavazují poskytovatele AI (jako je ChatGPT) poskytovat kompletní informace pro splnění právních povinností, v praxi proveditelné. Skvělým krokem v rámci podpory inovací a spravedlivé konkurence v oblasti AI je ochrana malých a středních podniků a startupů před nespravedlivými smluvními podmínkami. Vzhledem k významu regulací a potenciálních dopadů na průmysl v celé EU je pro nás zásadní vidět finální verzi dokumentu.