Ключевые обязанности разработчиков ИИ согласно EU AI Act: углубленный обзор

Европейский Союз разрабатывает всеобъемлющую нормативно-правовую базу для регулирования разработки и использования искусственного интеллекта (ИИ) - Artificial Intelligence Act (далее - AI Act). Этот революционный документ призван обеспечить соответствие ИИ-систем, используемых в ЕС, высоким стандартам надежности, безопасности и соблюдения фундаментальных прав.
AI Act будет иметь экстерриториальное действие и затронет разработчиков ИИ по всему миру, планирующих выводить свои продукты на европейский рынок. Принцип прост: неважно, где была разработана система ИИ, главное - ее использование в ЕС. То есть, даже если разработчик находится в третьей стране и не импортирует свой продукт напрямую в ЕС, но система используется на территории Союза - разработчик обязан соблюдать требования нового регламента.

Учитывая масштабное влияние, которое окажет AI Act, разработчикам ИИ необходимо уже сейчас начать готовиться к новым правилам игры. В этой статье мы подробно разберем ключевые положения AI Act, рассмотрим практические примеры ИИ-систем из разных областей и дадим рекомендации по обеспечению соответствия новым нормам.

Сфера применения AI Act и классификация ИИ-систем по рискам

1.1. Определение ИИ-систем.

Прежде всего, важно понимать, какие системы и технологии подпадают под определение "искусственного интеллекта" в контексте нового регулирования.
AI Act дает широкое определение, охватывающее системы с различной степенью автономности, которые для заданного набора целей способны генерировать выходные данные (контент, предсказания, рекомендации, решения), оказывающие влияние на среду, с которой они взаимодействуют.
Под это определение попадает обширный спектр технологий - от простых чат-ботов до сложных алгоритмов компьютерного зрения и обработки естественного языка. По сути, когда мы говорим об "ИИ-системах" в контексте AI Act, мы подразумеваем любое программное обеспечение, разработанное с использованием методов машинного обучения, логических и знание-ориентированных подходов, статистических моделей и методов поиска/оптимизации.

1.2. Классификация ИИ-систем по рискам.

AI Act вводит классификацию ИИ-систем на основе рисков, которые они могут нести для безопасности, здоровья и реализации фундаментальных прав граждан. В зависимости от уровня риска к системам будут применяться разные требования и ограничения. Давайте разберем каждый уровень подробнее.

(a) Неприемлемый риск ИИ-практики, которые считаются однозначно вредоносными и нарушающими европейские ценности, будут полностью запрещены на всей территории ЕС. К ним относятся:
Системы социального рейтинга, которые оценивают и классифицируют людей на основе их социального поведения или личностных характеристик, что приводит к дискриминации и несправедливому обращению в контекстах, не связанных со сбором данных.

Пример: Приложение PeopleScore присваивает гражданам баллы на основе их активности в социальных сетях, покупок, контактов. Низкий рейтинг закрывает доступ к определенным госуслугам, кредитам. Такая практика однозначно подпадает под запрет AI Act.

Использование биометрической идентификации в реальном времени (например, распознавание лиц) в общественных местах в целях правоохранения. Исключения возможны только для борьбы с серьезными преступлениями: терроризмом, торговлей людьми, розыском пропавших.

Пример: Полиция использует камеры с ИИ-системой распознавания лиц FaceSearch для выявления подозреваемых в преступлениях на улицах и площадях города. Без специального разрешения и веских оснований, такая практика будет нарушать AI Act.
Системы, которые используют сублиминальные методы, чтобы существенно исказить поведение человека, причиняя ему вред. Также запрещено эксплуатировать уязвимости отдельных лиц или групп в манипулятивных целях.

Пример: Приложение MindTrick показывает пользователю скрытую рекламу казино, стимулируя его к азартным играм. Или оно определяет, что пользователь подросток, и настойчиво рекомендует ему купить алкоголь. Это явные примеры запрещенных манипулятивных практик.

Использование таких систем будет наказываться большими штрафами - до 30 млн евро или 6% годового мирового оборота компании. Цель - полностью вытеснить подобные практики из ЕС.

(b) Высокий риск. Ко второй категории относятся ИИ-системы, которые создают высокий риск для безопасности, здоровья и фундаментальных прав людей. Они разрешены к использованию при условии соблюдения строгих обязательных требований и прохождения процедур оценки соответствия.

AI Act содержит исчерпывающий перечень сфер, в которых ИИ-системы считаются высокорисковыми:

Биометрическая идентификация и категоризация людей
Управление и эксплуатация критической инфраструктуры (например, транспортные сети, системы электро- и водоснабжения)
Образование и профессиональное обучение (например, системы оценки учащихся, определения доступа к образовательным программам)
Трудоустройство, управление персоналом и доступ к самозанятости (например, системы отбора резюме, оценки продуктивности работников)
Доступ к важнейшим частным и государственным услугам (например, проверка заявок на получение кредита, социальных пособий, оценка кредитного скоринга)
Правоохранительная деятельность (например, оценка риска рецидива, полиграфы)
Миграция, убежище и управление границами (например, проверка достоверности документов, оценка рисков безопасности)
Отправление правосудия и демократические процессы (например, помощь в толковании закона и фактов судьями).

Давайте рассмотрим примеры высокорисковых систем в этих областях и применимые к ним требования.
Пример 1. ResumeAI - ИИ-система, которая автоматически отбирает резюме соискателей для работодателей. Поскольку она используется для принятия решений о найме, то считается высокорисковой. Требования AI Act для ResumeAI:
Провести оценку рисков дискриминации по полу, возрасту, этнической принадлежности и другим защищенным характеристикам. Внедрить меры для минимизации этих рисков.

Использовать для обучения только высококачественные, репрезентативные наборы данных. Избегать исторических данных, закрепляющих дискриминационные паттерны найма.

Обеспечить человеческий надзор и возможность обжалования решений системы.

Вести подробную техническую документацию, позволяющую оценить соответствие всем требованиям.

Зарегистрировать систему в общеевропейской базе данных высокорисковых ИИ-систем.

Пример 2. LoanCheck - ИИ-модель, которая оценивает кредитоспособность физических лиц и присваивает им кредитный рейтинг. От ее выводов зависит доступ людей к финансовым ресурсам и базовым услугам, поэтому к ней применяются повышенные требования:
Регулярно проверять модель на точность, устойчивость и отсутствие дискриминационных эффектов.

Предоставлять четкую информацию пользователям о факторах, влияющих на их рейтинг, и о том, как обжаловать автоматизированное решение.

Назначить квалифицированный персонал для контроля качества, интерпретации результатов и разрешения споров.

Соблюдать строгие правила кибербезопасности для защиты конфиденциальных данных клиентов.

Пример 3. RecidivismAI - ИИ-система, которая прогнозирует вероятность рецидива подсудимых. Органы юстиции используют ее выводы для определения меры пресечения, сроков заключения. Это критически важное применение ИИ, которое может нарушить презумпцию невиновности и право на справедливое судебное разбирательство, если алгоритмы пристрастны или непрозрачны.

Поэтому ResetAI должна:

Быть протестирована на репрезентативных и релевантных наборах данных, учитывающих особенности локального контекста.
Обеспечивать интерпретируемость и объяснимость своих выводов для всех сторон судебного процесса.
Работать под контролем компетентных специалистов, которые могут перепроверять и корректировать решения.
Подвергаться внешнему аудиту и сертификации со стороны аккредитованных органов по оценке соответствия.

Как мы видим, разработчики высокорисковых систем должны приложить значительные усилия, чтобы соответствовать всем требованиям AI Act. Это создаст дополнительную нагрузку, но она оправдана критической важностью данных применений для жизни людей и общества.

Помимо перечисленных в Приложении III областей, к высокому риску могут относиться отдельные ИИ-системы из категории умеренного риска, если по результатам оценки обнаружится, что они способны нанести серьезный ущерб. Также Еврокомиссия получит право дополнять перечень новыми пунктами для адаптации к развитию технологий.

(c) Умеренный риск ИИ-системы. Из этой категории разрешены к использованию при условии соблюдения определенных обязательств по прозрачности. К ним относятся:

Чат-боты и системы, взаимодействующие с людьми. Они должны информировать пользователей, что те общаются с ИИ.
Системы распознавания эмоций. Они должны уведомлять людей о том, что их эмоциональное состояние оценивается.
Генераторы синтетического контента ("дипфейков"). Необходима четкая маркировка такого контента, чтобы люди не путали подделку с реальностью.

Примеры умеренно-рисковых систем:

Виртуальный помощник SupportBot принимает обращения клиентов в интернет-магазине. Он должен сразу предупреждать: "Здравствуйте! Я цифровой ассистент, а не человек. Чем могу вам помочь?"
Приложение EmotionCheck определяет по выражению лица водителей их усталость и раздражение. Оно обязано запрашивать согласие на анализ эмоций и объяснять его цель (безопасность движения).
Инструмент VideoTwin создает дипфейки - реалистичные видео с цифровыми копиями людей. Он должен проставлять на них четкий вотермарк "Синтетический контент", чтобы зрители не считали дипфейки настоящими роликами.

В остальном, к умеренно-рисковым системам не предъявляются столь же строгие требования, как к высокорисковым ИИ. Однако обязанности по информированию пользователей должны неукоснительно соблюдаться. Их нарушение может повлечь штрафы до 20 млн евро или 4% годового мирового оборота компании.

(d) Минимальный риск. Наконец, ИИ-системы, не создающие значительных рисков для прав и безопасности людей, могут разрабатываться и использоваться свободно, без дополнительных ограничений.

Примеры систем минимального риска:

Виртуальный шопинг-консультант Trendy.AI анализирует модные тенденции и вкусы пользователя, чтобы рекомендовать ему одежду в интернет-магазине.
Приложение-органайзер Schedulio.AI помогает оптимально планировать встречи и дела, учитывая приоритеты и предпочтения владель
Фоторедактор Filterio применяет ИИ-алгоритмы для улучшения качества снимков, создания коллажей и творческих эффектов.

В таких случаях разработчики освобождены от специфических обязательств в рамках AI Act. Однако, разработчикам рекомендуется следовать добровольным отраслевым кодексам этики для ответственного развития ИИ, учитывающим ценности и критерии прозрачности, подотчетности и недискриминации.

1.3. Экстерриториальность требований.
Важно подчеркнуть, что описанная классификация рисков и связанные с ними требования применяются ко всем ИИ-системам, которые разрабатываются, продаются или используются на территории ЕС. При этом не имеет значения, где находится сам разработчик - в Евросоюзе или за его пределами.
Если поставщик (провайдер) ИИ-системы базируется в третьей стране, но его продукт доступен пользователям из ЕС - он обязан назначить официального представителя в одной из стран-членов. Через него будет идти взаимодействие с надзорными органами, обеспечиваться соответствие требованиям и рассмотрение претензий.
Яркий пример - голосовой ассистент Алиса от компании Яндекс. Представим, что сервис стал популярен у русскоязычных жителей Прибалтики или Германии. Даже если Яндекс напрямую не выводит Алису на европейские рынки, факт использования системы гражданами ЕС вынудит компанию позаботиться о назначении представителя и соблюдении норм AI Act.
Учитывая потенциальное влияние на неприкосновенность частной жизни и риски недобросовестного применения, Алиса и подобные ей чат-боты вполне могут попасть в категорию умеренного риска. Значит Яндексу как провайдеру нужно будет модифицировать ассистента, чтобы он всегда уведомлял собеседника: "Я искусственный интеллект, а не человек". Плюс раскрыть в документации общие принципы работы ИИ-модели.
Если окажется, что Алиса собирает персональные данные европейцев (по их голосу, запросам, контактам) и использует их, чтобы профилировать пользователей и манипулировать ими - ей может грозить попадание в зону высокого риска. Тогда потребуется полноценная оценка рисков, внешний аудит, регистрация в общеевропейской базе и т.д. В противном случае - запрет на использование в ЕС и огромные штрафы.
Так что да, AI Act применяется даже когда провайдер находится за пределами ЕС - если его ИИ-система доступна европейцам напрямую или опосредованно. Можно провести аналогию с Общим регламентом ЕС по защите персональных данных (GDPR). Он тоже экстерриториален и обязывает зарубежные компании соблюдать права субъектов данных из Евросоюза даже без физического присутствия в регионе.
Иностранным разработчикам стоит заранее позаботиться о соответствии требованиям AI Act - если они планируют выходить на перспективный рынок ЕС или не могут исключить использование своих продуктов гражданами Союза. Да, это потребует инвестиций в доработку систем, изменение процедур и обучение персонала. Но репутационные и финансовые риски игнорирования норм слишком высоки.

Ключевые требования к высокорисковым системам ИИ

Давайте более детально рассмотрим комплекс обязательств, которые накладывает AI Act на поставщиков и пользователей высокорисковых ИИ-систем. Эти требования призваны минимизировать риски для фундаментальных прав и безопасности людей, не создавая при этом чрезмерного бремени для инноваций.

2.1. Система управления рисками

Провайдеры должны внедрить эффективную систему управления рисками, которая будет охватывать весь жизненный цикл ИИ-продукта - от разработки до вывода из эксплуатации. Ее цель - проактивно выявлять, анализировать, оценивать и устранять потенциальные угрозы здоровью, безопасности и правам человека, связанные с использованием системы.

Базовый процесс управления рисками состоит из нескольких шагов:

Идентификация и анализ рисков, которые могут возникнуть при применении ИИ-системы по назначению или в условиях предсказуемого неправильного использования. Необходимо рассматривать весь диапазон прямых и косвенных угроз - от ошибок и предвзятости алгоритмов до кибератак и утечек данных.
Измерение и оценка рисков с точки зрения вероятности реализации и тяжести потенциального вреда. Результаты должны быть задокументированы и использованы для ранжирования рисков по приоритетности.
Разработка и реализация контрмер для каждого значимого риска. Приоритет должен отдаваться встроенным мерам безопасности, предотвращающим угрозы за счет продуманного дизайна ИИ-системы. Остаточные риски можно снижать путем внешнего контроля, например, процедур человеческого надзора.
Верификация и валидация эффективности принятых мер через тщательное тестирование, анализ производительности, сбор обратной связи от пользователей.
Непрерывный мониторинг системы после вывода на рынок для выявления новых, незамеченных ранее рисков. Требуется регулярно обновлять оценку и при необходимости дорабатывать меры по снижению рисков.

Требования AI Act фокусируются на рисках для безопасности и фундаментальных прав, но передовой подход - учитывать и этические риски ИИ-систем. Например, их потенциал увеличивать несправедливость, углублять "цифровой разрыв", манипулировать людьми. Это необходимо для создания действительно заслуживающего доверия ИИ.

Поясним на примере. Представим медицинскую ИИ-систему SkinScan, которая по фото родинок определяет риск злокачественной меланомы. Разработчику нужно заранее оценить:
а) Риски для здоровья и жизни в случае постановки неверного диагноза. Как избежать ложноположительных (напугать здорового) и ложноотрицательных (пропустить рак) результатов?
б) Риски дискриминации, если алгоритм будет хуже распознавать меланому у людей с темной кожей из-за недостатка репрезентативных данных. Как обеспечить справедливость?
в) Риски нарушения прав пациента, если результаты будут неверно истолкованы или переданы третьим лицам. Как защитить приватность и автономию личности?

Исходя из этого, в SkinScan нужно заложить мощную систему управления рисками:

Большую и сбалансированную обучающую выборку снимков, охватывающую все типы кожи
Строгие метрики точности и воспроизводимости, которым должна соответствовать модель
Аудит на независимом наборе данных для проверки на реальных примерах
Четкие инструкции для врачей по интерпретации результатов и сочетанию с другими методами диагностики
Информированное согласие пациентов на обработку их данных только в медицинских целях
Безопасные протоколы передачи и хранения снимков, журналов аудита, врачебной документации.

Цель в том, чтобы соблюсти баланс между полезностью ИИ-системы и контролем ее рисков. Просчитать все наперед невозможно, нужен постоянный мониторинг. Но тщательная проработка рисков значительно повышает шансы на успешный и безопасный продукт.

2.2. Качество данных и управление данными

Следующий критически важный аспект для высокорисковых ИИ-систем - обеспечение качества данных, на которых они обучаются и которые используют для принятия решений. Это прямо влияет на точность, устойчивость и справедливость алгоритмов.

AI Act устанавливает высокие стандарты к наборам данных для тренировки, валидации и тестирования моделей ИИ:
а) Релевантность - данные должны иметь прямое отношение к задачам и целевому контексту применения системы. В них должны быть представлены все значимые сценарии, категории и подгруппы, на которые будет влиять ИИ.
б) Репрезентативность - данные должны адекватно отражать целевую популяцию системы ИИ с точки зрения социально-демографических характеристик, контекстов использования и т.д. Нельзя допускать смещения в пользу или против отдельных групп.
в) Качество и полнота - данные должны быть достоверными, точными, актуальными и максимально полными для корректного обучения системы. Любые ошибки, пропуски, шумы и погрешности в них должны отслеживаться и по возможности исправляться.
г) Прозрачность происхождения и маркировки - нужно документировать источники данных, методы их сбора и обработки, принципы разметки и аннотирования. Любые внешние датасеты должны быть проверены на соответствие этическим и правовым нормам ЕС.

Помимо качества самих данных, важны практики управления ими на протяжении всего жизненного цикла ИИ-системы:
а) Защита персональных данных в соответствии с GDPR - ограничение доступа, шифрование, анонимизация, уведомление субъектов об обработке, соблюдение их прав.
б) Принцип минимизации данных - сбор и хранение только того объема личной информации, который необходим и соразмерен целям ИИ. Регулярный аудит и удаление избыточных данных.
в) Документирование жизненного цикла наборов данных (data lineage) - отслеживание происхождения, движения и изменения данных внутри системы для обеспечения воспроизводимости результатов и расследования инцидентов.
г) Разграничение доступа и ролей - четкое определение круга лиц, которые могут просматривать и редактировать различные категории данных, включая обезличенные и конфиденциальные. Принцип минимальных привилегий.
д) Резервное копирование и план восстановления на случай утраты или повреждения производственных данных.

Проиллюстрируем важность управления данными на примере.

Компания FaceShape разработала ИИ-систему, которая по фото и видео лиц кандидатов предсказывает их профессиональные качества - добросовестность, лидерский потенциал, склонность к нарушению дисциплины.
Чтобы пройти строгие требования AI Act, компания должна удостовериться, что:

Набор обучающих данных достаточно велик и репрезентативен, чтобы исключить дискриминацию по расе, полу, возрасту, типу внешности.
Данные собраны из надежных источников, с информированного согласия людей и соблюдением их прав.
Сами данные не содержат стереотипов, ошибок разметки, нерелевантной информации, которые исказят результаты модели.
Установлен строгий контроль доступа к фотобанку, все обращения к нему логируются, утечка и деанонимизация невозможны.
Подробно задокументированы методы аугментации фото, извлечения признаков, валидации прогнозов на реальных сотрудниках.

Если что-то из этого не выполняется - высок риск нарушения требований AI Act в части качества данных, со всеми вытекающими репутационными и юридическими последствиями.

Заметим, что регламент предъявляет высокие требования к данным не только на входе системы, но и на выходе. Нужно фиксировать результаты и решения, которые ИИ генерирует в отношении людей. Вести их учет, обеспечивать возможность аудита. Предоставлять затронутым лицам право оспорить решение, ограничить обработку, подать жалобу в надзорный орган.

2.3. Техническая документация и журналирование событий

Еще один ключевой блок для высокорисковых ИИ-систем - это подготовка подробной технической документации, которая демонстрирует соответствие всем требованиям регламента.

Она должна содержать:
а) Общее описание системы - ее назначение, ключевые характеристики, версию, разработчика, порядок взаимодействия с другими продуктами.
б) Детализированное описание функций системы - алгоритмы, процессы разработки, тренировки и тестирования модели, зависимости от внешних компонентов и API, требования к вычислительным ресурсам и среде исполнения.
в) Доказательства проведения оценки рисков и принятых мер по их снижению, включая результаты тестирования в ожидаемых и неблагоприятных условиях. Степень серьезности и вероятности остаточных рисков.
г) Характеристики набора данных, включая методы их сбора, этикетирования, очистки, преобразования, разделения на обучающую/валидационную/тестовую выборки. Статистические свойства, распределение классов, наличие bias.
д) Метрики и процедуры, используемые для оценки точности, устойчивости, воспроизводимости результатов и других характеристик производительности системы, в привязке к целевой функции.
е) Результаты оценки соответствия требованиям, проведенной с помощью внутреннего контроля качества или с привлечением уполномоченного органа по сертификации.
ж) Руководство пользователя с описанием возможностей и ограничений системы, порядка интерпретации выходных данных, каналов обратной связи и сообщения о проблемах.
з) Формальные декларации о соответствии продукта требованиям безопасности, непрерывности бизнеса, защиты персональных данных и т.д.

Техническая документация - это настоящая "библия" ИИ-системы, дающая полное представление о ее устройстве, функциях и рисках. По сути, это досье для подтверждения регуляторам факта соблюдения норм. Документация должна поддерживаться в актуальном состоянии на протяжении всего срока службы системы и храниться еще минимум 10 лет после вывода из эксплуатации.

Помимо статической документации, должно вестись динамическое журналирование (логирование) ключевых событий и решений ИИ-системы в процессе функционирования.

Перечень фиксируемых действий зависит от специфики системы, но как минимум он должен позволять:

обнаружить ситуации, которые привели или могут привести к причинению вреда пользователям;
расследовать инциденты и сбои;
обеспечить доказательную базу при разрешении споров и конфликтов;
облегчить внешний аудит и верификацию.

Особенно строгие требования к логированию предъявляются к ИИ-системам в областях биометрической идентификации, оценки индивидуальных рисков и предиктивной аналитики. Нужна фиксация всей цепочки обработки - от ввода персональных данных до вывода результата.

Например, для системы прогнозирования рецидивов RecidivismAI должны записываться:

время и цель каждого обращения;
набор входных данных о подозреваемом/осужденном, включая возраст, пол, этническую принадлежность, историю правонарушений, семейное положение, трудовой статус и т.д.;
версия используемой модели и наборов данных;
результат оценки (высокий/средний/низкий риск повторного преступления, вероятность в %);
лицо, принявшее решение об аресте, освобождении, мере пресечения на основании рекомендации ИИ.

Эти логи должны защищенно храниться и предоставляться по запросу надзорным органам. А сама RecidivismAI должна аудироваться на регулярной основе - для подтверждения точности прогнозов, отсутствия дискриминации, законности использования данных.

Таким образом, техдокументация и журналирование служат важным инструментом обеспечения прозрачности, подотчетности и доверия к ИИ-системам. Это возможность доказать, что алгоритм работает как положено. И разобраться, если возникли проблемы.

2.4. Контроль со стороны человека

В соответствии с принципом ориентированности на человека, заложенном в AI Act, высокорисковые системы ИИ должны разрабатываться таким образом, чтобы обеспечивать эффективный контроль со стороны людей.

Это делается для:

а) Предотвращения или минимизации рисков безопасности, здоровью и реализации прав человека.

б) Сохранения человеческого фактора в процессе принятия важных решений, затрагивающих жизнь людей.

в) Возможности вмешаться, если ИИ дает сбой, демонстрирует неприемлемое поведение или выдает потенциально опасные результаты.

Человеческий контроль (human oversight) может принимать разные формы в зависимости от специфики ИИ-системы:
1. Контроль "на входе" (Human-in-the-Loop) - человек непосредственно участвует в генерации входных данных, постановке задач и ограничений для ИИ, обучении модели. Например, размечает изображения, фильтрует и верифицирует обучающую выборку, определяет этические границы работы алгоритма.

Пример: в приложении OutfitMatch ИИ предлагает персонализированные рекомендации по выбору одежды. Модные эксперты не только обучают алгоритм на размеченных фото, но и вручную исключают из выборки провокационные, неэтичные, культурно-нечувствительные образы.

2. Контроль "на выходе" (Human-out-of-the-Loop) - проверка корректности результатов ИИ post factum, перед их передачей конечному пользователю. Человек как арбитр, который одобряет, отклоняет или модифицирует выводы системы.

Пример: в сервисе PostModerator ИИ автоматически оценивает содержание постов в соцсетях на предмет языка вражды, дезинформации, экстремизма. Финальное решение об удалении или блокировке контента принимают модераторы-люди, ИИ лишь помогает им.

3. Контроль "по запросу" (Human-on-Demand) - возможность ручного вмешательства в работу ИИ-системы по мере необходимости. Оператор наблюдает за функционированием алгоритма и может приостановить или прервать его, если есть подозрения на ошибку, дискриминацию и т.п.

Пример: в беспилотных автомобилях класса SAE 3 водитель обязан постоянно следить за ситуацией и брать управление на себя, если ИИ не справляется. Полностью отвлекаться и спать за рулем нельзя.

4. Контроль "в любой точке" (Human-in-Command) - полномочия на отключение системы и пренебрежение ее рекомендациями по собственному усмотрению. Человек всегда имеет последнее слово и несет полную ответственность за принятие или отклонение решений ИИ.

Пример: врач при диагностике пациента опирается на предсказания системы MedAI. Но в итоге всегда сам оценивает полную картину и принимает все ключевые решения о лечении. ИИ лишь высказывает "второе мнение".

Какой вариант контроля подходит в каждом случае - зависит от области применения ИИ, серьезности последствий, квалификации пользователей. Важно найти баланс между доверием к алгоритмам и перепроверкой их действий человеком. Слишком много контроля замедляет процессы и сводит к нулю выгоды автоматизации, слишком мало - ведет к неуправляемым рискам и ошибкам.

Для наиболее чувствительных случаев AI Act предусматривает механизм "двойного подтверждения". Например, если речь идет о биометрической идентификации в реальном времени - недостаточно доверять выводам ИИ о степени совпадения. Результат должен быть перепроверен как минимум двумя независимыми экспертами перед принятием решения.

В контексте человеческого надзора также важна прозрачность работы ИИ-системы. Оператор должен хорошо понимать возможности и ограничения используемых моделей. Идентифицировать ситуации, когда результаты ИИ могут быть ненадежны или ошибочны. Уметь объяснить логику алгоритмов пользователям и аудиторам. Иначе контроль не будет полноценным.

Высокорискованные ИИ-системы должны быть спроектированы так, чтобы у человека-контролера всегда был необходимый уровень:

Понимания сильных и слабых сторон ИИ для адекватного мониторинга
Осознания ловушек чрезмерного доверия к машине (automation bias)
Способности трактовать результаты алгоритма с учетом контекста
Возможности отклонить рекомендацию ИИ или отключить систему
Навыка вмешиваться в работу ИИ при обнаружении ошибок и сбоев

Все это требует соответствующего обучения персонала, формирования культуры ответственного применения ИИ в организации. Быть контролером - работа не для дилетантов. А для квалифицированных людей, которые могут задавать правильные вопросы алгоритмам и не поддаваться слепо их влиянию.

2.5. Точность, устойчивость и кибербезопасность

Последний набор важных требований к высокорискованным системам ИИ касается технического качества.

Они должны быть:
а) Точными - выдавать результаты, которые соответствуют целевой функции системы и подтверждаются на независимой тестовой выборке. Иметь метрики точности, адекватные типу задачи (классификация, регрессия, ранжирование и т.п.).
б) Устойчивость- устойчиво работать при разных условиях, в том числе неблагоприятных и непредвиденных. Сохранять стабильность при шумах, пропусках данных, вариациях окружения. Корректно обрабатывать редкие и нетипичные ситуации.
в) Отказоустойчивыми - иметь встроенные механизмы обнаружения сбоев и восстановления после них. Отработанные процедуры остановки ИИ и перехода на запасные алгоритмы/человека при деградации производительности.
г) Воспроизводимыми - давать одинаковые результаты на одинаковых входных данных. Быть детерминированными в своем поведении, чтобы можно было проследить логику принятия решений.
д) Защищенными - обеспечивать конфиденциальность, целостность и доступность обрабатываемых данных. Противостоять актуальным киберугрозам - DDoS-атакам, внедрению вредоносного кода, фальсификации входов и выходов, краже моделей и т.д.

Это очень высокая планка требований, если смотреть на реальное положение дел в индустрии ИИ. Многие модели машинного обучения "капризны", плохо генерализуются, чувствительны к качеству данных. Их сложно масштабировать, объяснить и защитить должным образом.

Поэтому для соответствия нормам AI Act разработчикам высокорисковых систем придется серьезно поработать над надежностью своих решений. Придумать нетривиальные подходы к тестированию ИИ в разных условиях, сценариях, на разнообразных данных. Закладывать большой запас прочности как на уровне моделей, так и инфраструктуры.

Рассмотрим гипотетический пример - сервис для постановки медицинских диагнозов по рентгеновским снимкам ChestX. Чтобы соответствовать требованиям точности и робастности, его модель должна:

Обучаться на очень большой выборке реальных снимков, покрывающей как частые, так и редкие патологии. С достаточным количеством примеров разного качества, ракурсов, типов оборудования.
Показывать высокие метрики точности, полноты, F1 и т.п. не только на валидации, но и на внешнем тесте. Быть стабильной к вариациям разметки между экспертами.
Корректно обрабатывать артефакты, шумы, обрезанные/размытые снимки. Сообщать об ошибке, а не выдавать случайные предсказания в таких случаях.
Определять степень своей уверенности в диагнозе, выявлять "сложные случаи" для эскалации врачу. Допускать возможность своей неправоты.
Быть интегрированной с медицинскими информационными системами, системами жизнеобеспечения. Контролировать передачу и хранение чувствительных данных пациентов.

Понятно, что подобные требования резко усложняют и удорожают процесс разработки ИИ-систем. Их нельзя выпустить на рынок в сыром виде, наспех обученными на скачанном из интернета датасете. Нужны серьезные инвестиции в отладку, аудит, непрерывное улучшение алгоритмов. Что, конечно, создает барьеры и для небольших игроков, и для экспериментальных, инновационных решений.

С другой стороны, строгий контроль качества оправдан для систем, ошибки которых могут стоить жизни и здоровья людей. Цена халатности в таких сферах как медицина, транспорт, правосудие, финансы - слишком высока. И обеспечить должный уровень точности и безопасности ИИ-моделей - первейшая обязанность их создателей.

Тут регуляторы исходят из принципа предосторожности. Лучше заранее устранить уязвимости, продумать отказоустойчивость, чем разгребать последствия непредвиденных инцидентов.

Тем более, что злоумышленники уже начали применять специфические атаки на ИИ:

Отравление данных (data poisoning) - подмешивание в обучающую выборку примеров, которые незаметно смещают модель в нужную взломщику сторону.
Состязательные примеры (adversarial examples) - картинки и другие объекты, которые вызывают у нейросетей галлюцинации и misclassification.
Инверсия модели (model inversion) - восстановление персональных данных из обученного ИИ по его ответам.
Кража интеллектуальной собственности (model stealing) - изготовление пиратских копий моделей по открытому API.

Все эти атаки возможны из-за особенностей архитектур ИИ (переобученность, непрозрачность, нестабильность). И для критической инфраструктуры они могут иметь катастрофические последствия - от массовых ложных диагнозов до техногенных аварий и социальных манипуляций.

Так что требования AI Act к точности, надежности и безопасности высокорискованных систем - это не блажь евробюрократов, а насущная необходимость. Своего рода "авиационные стандарты" для ИИ-индустрии, которая пока что больше увлечена гонкой моделей, чем заботой о последствиях. Цель регулятора - заставить рынок заранее учитывать риски и потенциальный ущерб, а не только коммерческую выгоду.

Безусловно, этот процесс будет непростым и многоэтапным. Потребуются годы на доработку моделей, методологий тестирования, сертификации. Нужно будет адаптировать требования к специфике отраслей и классов систем. Предусмотреть исключения и механизмы апелляции для стартапов, исследовательских проектов.

Но в перспективе введение единых высоких стандартов для ИИ-систем с высокими рисками поможет:

а) защитить права граждан ЕС от ущерба из-за некачественных алгоритмов;
б) повысить доверие бизнеса и общества к надежным и проверенным решениям;
в) стимулировать развитие отрасли в сторону эффективного и безопасного ИИ;
г) вывести Европу в лидеры "этичного ИИ" и распространить лучшие практики на другие рынки.

Как мы видим, AI Act возлагает немало сложных обязанностей на провайдеров высокорисковых ИИ-систем. Но это лишь базовые, необходимые условия для допуска таких систем на рынок ЕС. Следующим шагом будет выполнение процедур подтверждения соответствия.

Оценка соответствия высокорисковых ИИ-систем

3.1 Прежде чем поставлять свои решения европейским пользователям, разработчики высокорискового ИИ должны пройти через обязательную процедуру контроля качества самого провайдера.

Такой упрощенный вариант допускается для ИИ-систем из Приложения III (за исключением биометрической идентификации), если:

провайдер применил все гармонизированные стандарты и экспертизы, покрывающие требования AI Act к системе;
у провайдера есть документированная и эффективная система менеджмента качества (QMS) в соответствии со ст. 17.

Смысл этого варианта - разгрузить сертификационные органы и ускорить выход на рынок систем с относительно предсказуемыми и управляемыми рисками. Ответственность за качество при этом полностью ложится на провайдера.
Пример: рекрутинговая платформа HireRight использует ИИ для оценки резюме и подбора кандидатов.

Перед запуском в ЕС компания должна:
а) Провести внутренний аудит алгоритма на качество данных, прозрачность, отсутствие дискриминации б) Задокументировать все процедуры разработки, тестирования, мониторинга модели.
в) Назначить ответственного за соблюдение требований AI Act (аналог DPO из GDPR)

г) Получить сертификат соответствия европейским стандартам по управлению рисками ИИ.

Если все эти условия выполнены - платформа может работать в ЕС. Но при малейших подозрениях регуляторы вправе затребовать внутреннюю документацию и провести проверку.

3.1 Внешняя оценка с участием нотифицированного органа (third-party assessment)

Этот вариант является обязательным для:

ИИ систем биометрической идентификации из Приложения III
ИИ компонентов продуктов, требующих сертификации СЕ (например, медтехника)
Высокорисковых ИИ, которые не полностью покрыты существующими гармонизированными стандартами.

Нотифицированные органы - это аккредитованные структуры (лаборатории, центры, институты), которые проводят испытания и сертификацию продуктов/услуг на соответствие требованиям безопасности ЕС. Они должны быть независимы от заказчиков, обладать компетентным персоналом и подчиняться регуляторам.

Для оценки ИИ-систем нотифицированные органы проверяют:

а) Техническую документацию (включая отчет об управлении рисками)

б) Записи о функционировании системы в реальных и тестовых условиях

в) Внутренние процессы контроля качества и актуализации модели

г) Результаты внешнего аудита безопасности (стресс-тесты, этический анализ)

По итогам экспертизы нотифицированный орган выдает провайдеру сертификат соответствия ИИ-системы нормам AI Act сроком на 5 лет (с возможностью продления). Без этого "знака качества" легальный оборот системы в ЕС невозможен.
Пример: стартап NeuralMed разработал ИИ-модуль для роботизированной хирургии. Прежде чем интегрировать его в медоборудование, нужно получить одобрение нотифицированной лаборатории. Эксперты изучат исходный код, протоколы испытаний, клинические отчеты, опросят медперсонал. Удостоверятся, что модуль стабильно работает, не допускает врачебных ошибок и защищен от взлома. Если все ОК - выдадут сертификат как для обычного медизделия класса III.

Как видим, путь на рынок для высокорискованного ИИ не близкий. Разработчикам нужно закладывать время и ресурсы на подготовку документов, найм экспертов, уплату сборов за экспертизу. Но игра стоит свеч - сертификация является мощным конкурентным преимуществом, знаком надежности продукта.
Важно, что требование внешней оценки может применяться и к ИИ-системам из третьих стран, если они напрямую влияют на европейцев. Например, к магазинам приложений или облачным платформам, рекомендующим контент жителям ЕС. Китайский TikTok или американский AWS должны играть по тем же правилам, что и европейские провайдеры.

В целом, процедура оценки соответствия призвана стать "фильтром" для опасного и низкокачественного ИИ. Пропускать в оборот только те системы, которые доказали свою безопасность, прозрачность и подконтрольность человеку. По аналогии с другими продуктами, влияющими на жизнь и здоровье людей - лекарствами, продуктами, транспортом, производственным оборудованием.
Да, AI Act создает дополнительные барьеры и расходы для бизнеса. Но они оправданы высокими рисками и непредсказуемостью ИИ-систем в критических сферах. Разработчикам нужно менять подход - внедрять этику и ответственность в свои модели на всех этапах. Если хотят всерьез и надолго закрепиться на крупнейшем рынке мира.

Обязанности участников ИИ-экосистемы

Помимо провайдеров высокорисковых систем, AI Act накладывает определенные обязанности и на других участников рынка ИИ. Регулятор исходит из того, что ответственность за безопасное и законное применение этой технологии лежит на всей цепочке создания стоимости. Коротко рассмотрим ключевые требования.

4.1. Обязанности разработчиков/провайдеров:
Проводить оценку рисков и внедрять меры по их минимизации

Использовать качественные и репрезентативные наборы данных

Составлять и регулярно обновлять техническую документацию

Внедрять механизмы логирования и человеческого контроля

Обеспечивать точность, надежность и безопасность систем

Назначать представителя в ЕС для коммуникации с органами

Регистрировать ИИ-систему в общеевропейской базе данных

Сотрудничать с регуляторами в случае инцидентов и расследований.

4.2. Обязанности дистрибьюторов/импортеров:
Проверять наличие у ИИ-систем маркировки CE и деклараций соответствия

Информировать провайдеров и органы о выявленных рисках/нарушениях

Приостанавливать продажи небезопасного или несертифицированного ИИ

Вести учет жалоб и инцидентов, связанных с поставляемыми системами.

4.3. Обязанности пользователей:
Использовать ИИ-системы строго по назначению и следуя инструкциям

Контролировать входные данные на предмет ошибок, смещений, актуальности

Обеспечить прохождение операторами обучения для работы с системой

Уведомлять провайдеров о любых сбоях, ошибках, непредвиденных эффектах

Регистрировать факт использования ИИ-систем в специальном реестре

Сообщать субъектам данных о применении ИИ для оценки их поведения.

Часть обязанностей являются сквозными - например, хранить документацию, взаимодействовать с надзорными органами. Другие специфичны для конкретного звена - допустим, только пользователи отвечают за качество входных данных после развертывания.

Нюанс в том, что один и тот же субъект может совмещать роли. Многие компании сами разрабатывают, поставляют и применяют ИИ - тогда им нужно соблюдать весь комплекс норм. А если сторонний провайдер допустил дефект в системе и ввел в заблуждение клиента - ответственность может быть солидарной.
Поэтому так важна кооперация и обмен информацией между участниками. Четкая фиксация зон ответственности в договорах и политиках. Постоянный мониторинг систем и обратной связи от пользователей. Максимальная прозрачность в документировании моделей ИИ, их тренировки и результатов.

Проиллюстрируем на примере. Автопроизводитель IntellAuto использует ИИ-модуль NeuroPilot от компании RoboTech в системе автопилота 4-го уровня. Чтобы соответствовать требованиям AI Act им нужно:

RoboTech - предоставить отчеты о тестировании модели, качестве датасетов, воспроиз водимости и других аспектах, необходимых для оценки соответствия.
IntellAuto - обеспечить интеграцию модуля в систему автопилота с учетом всех требований безопасности. Оба должны вести подробную документацию о процессе разработки, тестирования и внедрения.

4.4 Деятельность организаций по обеспечению соответствия

Анализ ответов респондентов показал, что организации предпринимают различные шаги для обеспечения соответствия требованиям AIA:

Создание специальных рабочих групп по вопросам регулирования ИИ
Назначение ответственных лиц за compliance в области ИИ
Разработка внутренних политик и процедур по этичному ИИ
Проведение оценок рисков ИИ-систем
Улучшение документации и прозрачности ИИ-моделей
Внедрение механизмов человеческого надзора за ИИ
Обучение сотрудников требованиям AIA
Консультации с внешними экспертами по соответствию
Однако уровень и систематичность этих мер сильно варьируются между организациями. Многие отмечают нехватку ресурсов и экспертизы для полноценной подготовки к AIA.

4.5 Основные сложности в обеспечении соответствия

Респонденты отметили ряд ключевых сложностей на пути к соответствию AIA:
Неопределенность сроков и окончательного содержания AIA
Сложность интерпретации некоторых требований AIA
Нехватка конкретных рекомендаций по реализации требований
Ограниченные ресурсы, особенно у малых и средних предприятий
Сложность оценки рисков ИИ-систем
Трудности с обеспечением прозрачности сложных ИИ-моделей
Необходимость значительных изменений в процессах разработки ИИ
Конфликты между требованиями AIA и бизнес-целями
Проблемы с наймом квалифицированных специалистов по compliance
Сложность координации действий в рамках цепочки создания ИИ

4.6 Влияние характеристик организаций на готовность к AIA
Анализ данных позволил выявить некоторые закономерности во влиянии характеристик организаций на их готовность к AIA:

Размер организации: Крупные компании (250+ сотрудников) демонстрируют более высокую степень готовности по сравнению с малыми и средними предприятиями. Это объясняется наличием больших ресурсов и более развитой культурой compliance.
Сектор экономики: Финансовый сектор и здравоохранение показывают наиболее высокий уровень готовности, что связано с уже существующим жестким регулированием в этих отраслях. IT-компании демонстрируют средний уровень, а производственный сектор - наиболее низкий.
Опыт работы с ИИ: Организации с многолетним опытом разработки и внедрения ИИ-систем лучше подготовлены к требованиям AIA. Однако эта корреляция не абсолютна - некоторые молодые AI-стартапы также показывают высокий уровень готовности.
Географическое расположение: Компании из стран ЕС демонстрируют более высокую осведомленность и готовность к AIA по сравнению с неевропейскими организациями, работающими на рынке ЕС.
Наличие формализованных процессов разработки ПО: Организации с сертификацией ISO 9001 или CMMI показывают более высокую готовность к выполнению требований AIA по документированию и управлению качеством.

4.7 Сравнение с готовностью к другим регуляторным требованиям
Интересно сравнить уровень готовности организаций к AIA с их опытом адаптации к другим значимым регуляторным требованиям, таким как GDPR.
Исследование показало, что организации, успешно внедрившие процессы для соответствия GDPR, демонстрируют более высокую готовность к требованиям AIA. Это объясняется схожестью некоторых концепций (оценка рисков, privacy by design) и наличием уже выстроенных процессов управления соответствием.

Однако респонденты отмечают, что AIA представляет более серьезный вызов по сравнению с GDPR из-за:

Более широкого охвата регулируемых систем и процессов
Более глубоких технических требований к ИИ-системам
Необходимости значительных изменений в процессах разработки ИИ
Меньшей определенности в интерпретации требований

В целом, опыт адаптации к GDPR оказался полезен для организаций, но не гарантирует легкого перехода к соответствию AIA.

4.8 Планы организаций по дальнейшей подготовке к AIA
Большинство опрошенных организаций планируют активизировать подготовку к AIA в ближайшее время. Основные направления работы включают:

Проведение детального анализа пробелов (gap analysis) между текущими практиками и требованиями AIA
Разработка дорожной карты по достижению соответствия
Выделение дополнительных ресурсов на подготовку к AIA
Создание кросс-функциональных рабочих групп по имплементации AIA
Усиление сотрудничества с партнерами по цепочке создания ИИ
Инвестиции в инструменты для оценки рисков и аудита ИИ-систем
Расширение штата специалистов по этике ИИ и AI compliance
Переработка процессов разработки и внедрения ИИ-систем
Улучшение документации и практик обеспечения прозрачности ИИ
Внедрение или усовершенствование систем мониторинга ИИ

Многие организации также планируют более активное участие в отраслевых ассоциациях и регуляторных песочницах для обмена опытом и выработки лучших практик соответствия AIA.

4.9 Рекомендации по подготовке к AIA
На основе анализа данных исследования и лучших практик можно сформулировать следующие рекомендации организациям по подготовке к AIA:

Начинать подготовку как можно раньше, не дожидаясь финальной версии регламента
Провести инвентаризацию всех ИИ-систем и оценить их потенциальные риски
Сформировать кросс-функциональную команду для работы над соответствием AIA
Разработать политику ответственного ИИ и внедрить ее во все процессы
Улучшить документирование процессов разработки и работы ИИ-систем
Внедрить процедуры оценки рисков ИИ на всех этапах жизненного цикла
Обеспечить механизмы человеческого надзора за работой ИИ-систем
Повысить прозрачность ИИ-моделей и улучшить их объяснимость
Внедрить процессы мониторинга и аудита ИИ-систем
Обучить сотрудников принципам этичного ИИ и требованиям AIA
Наладить сотрудничество с партнерами по цепочке создания ИИ
Участвовать в отраслевых инициативах по выработке стандартов соответствия
Рассмотреть возможность сертификации ИИ-систем в соответствии с AIA
Регулярно отслеживать обновления и разъяснения по применению AIA
Быть готовыми к итеративному процессу адаптации по мере уточнения требований

Важно отметить, что подход к обеспечению соответствия должен быть риск-ориентированным и учитывать специфику конкретной организации и ее ИИ-систем.

Заключение
Исследование показало, что организации, работающие с ИИ-системами, осознают важность предстоящего регулирования в рамках EU AI Act, однако уровень их готовности к новым требованиям существенно варьируется. В целом, можно выделить следующие ключевые выводы:

Общий уровень готовности: Средний уровень готовности организаций к требованиям AIA можно оценить как умеренный. Большинство респондентов находятся на начальных этапах подготовки, осуществляя предварительный анализ требований и оценку потенциального воздействия на их деятельность.
Различия в готовности: Наблюдаются значительные различия в уровне готовности между организациями разного размера, сектора экономики и опыта работы с ИИ. Крупные компании, особенно в финансовом секторе и здравоохранении, демонстрируют более высокую степень подготовленности.
Ключевые вызовы: Основными сложностями на пути к соответствию AIA являются неопределенность в интерпретации некоторых требований, нехватка ресурсов и экспертизы, а также необходимость значительных изменений в процессах разработки и внедрения ИИ-систем.
Приоритетные области: Организации уделяют наибольшее внимание таким аспектам, как оценка рисков ИИ-систем, обеспечение прозрачности и объяснимости моделей, а также внедрение механизмов человеческого надзора.
Влияние предыдущего опыта: Опыт адаптации к другим регуляторным требованиям, особенно GDPR, оказывает положительное влияние на готовность к AIA, но не гарантирует легкого перехода из-за специфики регулирования ИИ.
Планы по подготовке: Большинство организаций планируют активизировать подготовку к AIA в ближайшее время, инвестируя в развитие компетенций, улучшение процессов и внедрение необходимых инструментов.
Потребность в руководстве: Существует высокий спрос на более детальные руководства и разъяснения по применению требований AIA, особенно в отношении технических аспектов соответствия.
Влияние на инновации: Многие организации выражают обеспокоенность тем, что строгие требования AIA могут замедлить инновации в области ИИ. Однако некоторые видят в новом регулировании возможность для создания более надежных и этичных ИИ-систем.
Экосистемный подход: Становится очевидной необходимость более тесного сотрудничества между всеми участниками цепочки создания ИИ для обеспечения соответствия требованиям AIA.
Долгосрочные последствия: Организации осознают, что адаптация к AIA - это не единовременное мероприятие, а долгосрочный процесс, который потребует постоянного внимания и ресурсов.

Эти выводы подчеркивают важность проактивного подхода к подготовке к EU AI Act. Организациям рекомендуется начать работу над соответствием как можно раньше, уделяя особое внимание развитию культуры ответственного ИИ и внедрению процессов, обеспечивающих прозрачность, надежность и этичность ИИ-систем.

Для успешной адаптации к новому регулированию критически важно:

Развивать компетенции: Инвестировать в обучение сотрудников и привлечение экспертов в области этики ИИ и AI compliance.
Улучшать процессы: Пересмотреть и адаптировать процессы разработки, внедрения и мониторинга ИИ-систем в соответствии с требованиями AIA.
Внедрять инструменты: Использовать технологические решения для оценки рисков, обеспечения прозрачности и аудита ИИ-систем.
Сотрудничать: Активно участвовать в отраслевых инициативах и обмениваться опытом с другими организациями.
Быть гибкими: Быть готовыми к итеративному процессу адаптации по мере уточнения требований и появления новых разъяснений.

Важно отметить, что EU AI Act следует рассматривать не только как регуляторное бремя, но и как возможность для создания более надежных, этичных и заслуживающих доверия ИИ-систем. Организации, которые смогут эффективно интегрировать принципы ответственного ИИ в свои процессы, получат конкурентное преимущество в долгосрочной перспективе.

Будущие исследования в этой области могли бы сосредоточиться на следующих аспектах:

Анализ эффективности различных подходов к обеспечению соответствия AIA.
Изучение влияния AIA на инновации и конкурентоспособность европейского ИИ-сектора.
Оценка долгосрочных последствий AIA для развития и применения ИИ