Система классификации рисков

Почему классификация — критический шаг

Всё, что вы делаете в части соответствия EU AI Act, начинается и заканчивается классификацией риска. Неверная классификация означает либо лишние затраты (классифицировать что-то как высокий риск, когда это не так), либо правовой риск (не классифицировать что-то как высокий риск, когда это должно быть так).

В этом уроке мы детально разберём каждый уровень риска с конкретными примерами, и вы научитесь систематически классифицировать собственные ИИ-системы.

Недопустимый риск — запрещённые практики

Статья 5 EU AI Act явно запрещает следующие практики ИИ. Штрафы за нарушения достигают 35 миллионов евро или 7% мирового оборота.

• Социальный скоринг — оценка людей на основе социального поведения с негативными последствиями, не связанными с контекстом сбора данных
• Манипулятивный ИИ — системы, использующие сублиминальные техники для манипуляции поведением, причиняющей вред
• Эксплуатация уязвимостей — ИИ, нацеленный на возрастные группы, людей с инвалидностью или социальными трудностями для манипуляции
• Биометрическая категоризация — вывод чувствительных атрибутов (раса, политические взгляды, сексуальная ориентация) из биометрических данных
• Нецелевой сбор изображений лиц — сбор фотографий лиц из интернета или видеонаблюдения для баз распознавания лиц
• Распознавание эмоций — на рабочих местах и в образовательных учреждениях (с исключениями для безопасности и здравоохранения)
• Биометрическая идентификация в реальном времени — в общественных местах в целях правоохранения (с узкими исключениями)

Высокий риск — строжайшие требования

Высокорисковые ИИ-системы — ядро регламента. Они делятся на две категории:

Категория 1: Компоненты безопасности продуктов

ИИ-системы, являющиеся компонентами безопасности продуктов, подпадающих под действующее регулирование ЕС — медицинские изделия, системы автомобильной безопасности, авиационные системы, игрушки, лифты. Если ваша ИИ-система является частью продукта с маркировкой CE, она, вероятно, высокорисковая.

Категория 2: Автономные системы в чувствительных областях

• Биометрическая идентификация и категоризация лиц
• Управление и эксплуатация критической инфраструктуры (энергетика, водоснабжение, транспорт)
• Образование и профессиональная подготовка (доступ к образованию, оценка студентов)
• Занятость и управление персоналом (найм, оценка производительности, повышение)
• Доступ к основным услугам (кредитный скоринг, страхование, социальные пособия)
• Правоохранительная деятельность (оценка доказательств, прогнозирование рецидивизма, профилирование)
• Управление миграцией и убежищем (оценка заявлений, обнаружение рисков)
• Отправление правосудия и демократические процессы (правовые исследования, юридическая интерпретация)

Ограниченный риск — обязательства по прозрачности

Некоторые ИИ-системы не имеют требований такого же уровня, как высокорисковые, но должны выполнять обязательства по прозрачности:

• Чат-боты — пользователи должны быть проинформированы, что общаются с ИИ (а не с человеком)
• Дипфейки — контент изображений/аудио/видео, сгенерированный или изменённый ИИ, должен быть помечен
• Текст, сгенерированный ИИ — текст, публикуемый для информирования общественности, должен быть помечен как созданный ИИ
• Распознавание эмоций — пользователи должны быть проинформированы, что система анализирует их эмоции (там, где это разрешено)

Минимальный риск — специфических обязательств нет

Большинство ИИ-систем попадают в эту категорию. Спам-фильтры, системы рекомендаций, ИИ-ассистенты для написания кода, автоматические переводы, ИИ в играх. EU AI Act не накладывает на них специфических обязательств, но рекомендует добровольное принятие кодексов поведения.

Как классифицировать ВАШУ ИИ-систему

Используйте следующее дерево решений для классификации каждой ИИ-системы в вашем портфолио:

1. Is the system on the list of prohibited practices (Art. 5)?
   YES → Unacceptable risk → STOP OPERATION
   NO  → continue

2. Is the system a safety component of a CE-marked product?
   YES → High risk
   NO  → continue

3. Does the system fall under Annex III (sensitive areas)?
   YES → High risk (with possible exception*)
   NO  → continue

4. Does the system interact directly with users (chatbot, deepfake)?
   YES → Limited risk (transparency obligations)
   NO  → Minimal risk

* Exception: An AI system in a sensitive area is NOT high-risk
  if it does not perform profiling and its output is purely
  assistive (a human always makes the decision).

Серые зоны — типичные дилеммы для технических команд

Некоторые системы неоднозначны. Система рекомендации контента — минимальный риск. Но система рекомендаций, определяющая, какой кредит получает клиент? Высокий риск. Разница — в воздействии на человека.

Если вы не уверены, спросите себя: «Может ли результат этой ИИ-системы существенно повлиять на чью-то жизнь, здоровье, финансы или основные права?» Если да — вероятно, это территория высокого риска.