Systém rizikové klasifikace

Proč je klasifikace kritický krok

Vše, co budete dělat ohledně compliance s EU AI Act, začíná a končí klasifikací rizika. Špatná klasifikace znamená buď zbytečné náklady (klasifikujete něco jako high-risk, co není) nebo právní riziko (neklasifikujete jako high-risk něco, co je).

V této lekci si projdeme každý rizikový stupeň do hloubky s konkrétními příklady a naučíte se systematicky klasifikovat své vlastní AI systémy.

Nepřijatelné riziko — zakázané praktiky

Článek 5 EU AI Act explicitně zakazuje následující AI praktiky. Pokuty za porušení sahají až do 35 milionů EUR nebo 7 % globálního obratu.

• Sociální scoring — hodnocení lidí na základě jejich sociálního chování s negativními důsledky nesouvisejícími s kontextem sběru dat
• Manipulativní AI — systémy, které využívají podvědomé techniky k manipulaci chování způsobem, který způsobuje škodu
• Zneužívání zranitelnosti — AI cílící na věkové skupiny, zdravotní postižení nebo sociální situace k manipulaci
• Biometrická kategorizace — inference citlivých atributů (rasa, politické názory, sexuální orientace) z biometrických dat
• Necílovaný scraping obličejů — sběr fotografií obličejů z internetu nebo CCTV pro databáze rozpoznávání obličejů
• Rozpoznávání emocí — na pracovišti a ve školách (s výjimkami pro bezpečnost a zdravotnictví)
• Real-time biometrická identifikace — ve veřejném prostoru pro účely vymáhání práva (s úzkými výjimkami)

Vysoké riziko — nejpřísnější požadavky

High-risk AI systémy jsou jádrem regulace. Spadají sem AI systémy ve dvou kategoriích:

Kategorie 1: Bezpečnostní komponenty produktu

AI systémy, které jsou bezpečnostní komponentou produktu podléhajícího existující EU regulaci — zdravotnické přístroje, automobilová bezpečnost, letecké systémy, hračky, výtahy. Pokud váš AI systém je součástí produktu s CE označením, je pravděpodobně high-risk.

Kategorie 2: Standalone systémy v citlivých oblastech

• Biometrická identifikace a kategorizace osob
• Správa a provoz kritické infrastruktury (energie, voda, doprava)
• Vzdělávání a odborné vzdělávání (přístup ke vzdělání, hodnocení studentů)
• Zaměstnanost a řízení pracovníků (najímání, hodnocení výkonu, propouštění)
• Přístup k základním službám (úvěrové hodnocení, pojištění, sociální dávky)
• Vymáhání práva (hodnocení důkazů, predikce recidivy, profilování)
• Migrace a azylové řízení (hodnocení žádostí, detekce rizik)
• Správa justice a demokratické procesy (právní výzkum, interpretace práva)

Omezené riziko — transparenční povinnosti

Některé AI systémy nemají tak přísné požadavky jako high-risk, ale musí splňovat transparenční povinnosti:

• Chatboty — uživatelé musí být informováni, že komunikují s AI (ne s člověkem)
• Deepfakes — AI-generovaný nebo manipulovaný obrazový/zvukový/video obsah musí být označen
• AI-generovaný text — text publikovaný za účelem informování veřejnosti musí být označen jako AI-generovaný
• Rozpoznávání emocí — uživatelé musí být informováni, že systém analyzuje jejich emoce (kde je to povoleno)

Minimální riziko — žádné specifické povinnosti

Většina AI systémů spadá do této kategorie. Spamové filtry, doporučovací systémy, AI asistenti pro kódování, automatické překlady, AI ve hrách. EU AI Act na ně neklade specifické povinnosti, ale doporučuje dobrovolné přijímání kodexů chování.

Jak klasifikovat VÁŠ AI systém

Použijte následující rozhodovací strom pro klasifikaci každého AI systému ve vašem portfoliu:

1. Je systém na seznamu zakázaných praktik (čl. 5)?
   ANO → Nepřijatelné riziko → ZASTAVIT PROVOZ
   NE  → pokračovat

2. Je systém bezpečnostní komponentou CE produktu?
   ANO → Vysoké riziko
   NE  → pokračovat

3. Spadá systém do Přílohy III (citlivé oblasti)?
   ANO → Vysoké riziko (s možnou výjimkou*)
   NE  → pokračovat

4. Interaguje systém přímo s uživateli (chatbot, deepfake)?
   ANO → Omezené riziko (transparenční povinnosti)
   NE  → Minimální riziko

* Výjimka: AI systém v citlivé oblasti NENÍ high-risk,
  pokud neprovádí profilování osob a jeho výstup je
  pouze pomocný (člověk vždy rozhoduje).

Šedá zóna — typické dilema technických týmů

Některé systémy nejsou jednoznačné. Doporučovací systém pro obsah je minimální riziko. Ale doporučovací systém, který rozhoduje o tom, jaký úvěr zákazník dostane? Vysoké riziko. Rozdíl je v dopadu na člověka.

Když si nejste jistí, položte si otázku: 'Může výstup tohoto AI systému podstatně ovlivnit život, zdraví, finance nebo základní práva někoho?' Pokud ano, pravděpodobně jste ve vysokém riziku.