Почему управление искусственным интеллектом требует системного подхода
Тема этой статьи связана с вышедшим стандартом ISO по искусственному интеллекту. В обсуждении искусственного интеллекта кто уже только не отметился. Тема животрепещущая, хотя уже немного, как говорят, навязла в зубах.
Тем не менее подходы стандарта представляют интерес. Если Международная организация по стандартизации взялась за разработку такого стандарта, значит, тема уже достаточно зрелая и к вопросам управления искусственным интеллектом пора подходить на системном уровне.
На изображении представлен портрет Ады Лавлейс, дочери лорда Байрона. Она – первый в мире программист, наш общий предок.
Почему именно она? По масштабу влияния развитие систем искусственного интеллекта, на мой взгляд, сопоставимо с промышленной революцией или всеобщей компьютеризацией. Ада Лавлейс была первым человеком, который писал программы, она стояла у истоков той революции. Ее логическое продолжение мы видим как раз в системах искусственного интеллекта.
Начнем с общего и, по примеру Шерлока Холмса, будем двигаться дедуктивным методом – от общего к частному. Рассмотрим системный подход, управление рисками, структуру работы с мерами воздействия, а затем обобщим полученные выводы.
Системный подход
Рассмотрим систему менеджмента искусственного интеллекта – Artificial Intelligence Management System (AIMS). Что это за новая система, откуда она взялась, зачем нужна и с чем ее едят?
Существует известная кривая Гартнера. Практически любая новая технология проходит несколько стадий: появление инновации, пик чрезмерных ожиданий, разочарование, склон просветления и, наконец, плато продуктивности.
Где на этой кривой сейчас находятся технологии искусственного интеллекта? Возможно, мы движемся от чрезмерных ожиданий к разочарованию. Может быть, говорить о выходе на склон просветления пока рано.
От искусственного интеллекта действительно ожидают очень многого. При этом он применяется в разных сферах и в разных ипостасях. Вероятно, в каждой сфере существует собственная траектория развития, поэтому говорить о каком-то среднем положении достаточно тяжело.
Но разработчики из Международной организации по стандартизации (ISO) уже взялись за создание стандарта. Стандартизация – отрасль достаточно консервативная. Новые технологии и неотработанные методы обычно не попадают в стандарты.
Поэтому я все-таки думаю, что в целом мы уже начинаем подниматься по склону просветления. Одна из задач этой статьи – помочь пройти пик разочарования, понять, каким образом из него выходить и как достигать плато продуктивности. Для большинства технологий выход на это плато представляет собой достаточно сложную и неоднозначную задачу.
Суть стандарта ISO 42001:2023
Полное название стандарта – Artificial Intelligence Management System. Слова «безопасность» в нем нет.
Но здесь можно вспомнить известную шутку: «Видишь суслика?» – «Не вижу». – «А он там есть».
Слово security в стандарте на первый взгляд отсутствует. Однако, если посмотреть на его структуру и на то, как он построен, мы увидим практически полный косплей стандарта ISO 27001 по информационной безопасности.
Пусть внешняя форма не вводит нас в заблуждение. Под этой овечьей шкурой скрывается волк, который должен работать с рисками информационной безопасности, возникающими при использовании искусственного интеллекта, а также с расширением привычных подходов к информационной безопасности.
Основная цель стандарта – определить специфические риски, связанные с применением систем искусственного интеллекта, и понять, как с ними работать.
Стандарт носит практический характер. В нем говорится не только о необходимости описывать риски, но и даются прямые подсказки: указываются меры, с помощью которых, по мнению разработчиков стандарта, с этими рисками необходимо работать.
Основные принципы (три кита) информационной безопасности
Поскольку исходной базой для нас остается информационная безопасность, вспомним ее три основных свойства: конфиденциальность, целостность и доступность.
Конфиденциальность означает, что информация не должна быть доступна тем, кому она не предназначена.
Целостность означает, что при обработке и хранении информации мы должны получать именно ту информацию, которая была заложена и которая нам нужна.
Доступность, в отличие от конфиденциальности, предполагает предоставление информации тем, кому она необходима.
Один из трендов последнего времени – вирусы-шифровальщики. На какие свойства информации воздействует шифровальщик? В первую очередь на целостность, а через нее – на доступность. Конфиденциальность, как правило, не страдает. Хотя бывают случаи, когда злоумышленники сначала выкачивают информацию, а затем шифруют ее. Тогда под угрозой оказываются сразу все три свойства.
Эти принципы применимы и к системам искусственного интеллекта, поскольку они тоже работают с информацией. Но здесь появляется своя специфика.
Какие дополнительные угрозы привносят системы ИИ?
Начнем с конфиденциальности. Однажды ко мне пришла дочь. Она биолог, тоже готовит презентации и на тот момент уже больше полугода пользовалась ChatGPT.
Она спросила: «Пап, а что теперь ChatGPT знает обо мне по моим вопросам и моему идентификатору?»
Что система может знать о человеке, который полгода использует ее для подготовки своих материалов? Конечно, не буквально все, но достаточно много, чтобы сформировать развернутый профиль пользователя.
Дочь задала и другой вопрос: «Это же бесплатные системы, там даже рекламы почти нет. Например, в том же DeepSeek. За счет чего они живут?»
Модели монетизации могут быть разными. Но данные, которые мы передаем публичным системам искусственного интеллекта, в том числе собственные сведения и содержание запросов, могут использоваться этими компаниями в их целях. Все зарабатывают деньги, и разработчики подобных систем не являются исключением.
Следующий вопрос – достоверность. Насколько можно доверять выводам, которые делает искусственный интеллект?
Здесь действует старый принцип: доверяй, но проверяй. Можно, например, спросить искусственный интеллект, где жил Диоген. Первый ответ может быть: в Афинах. Если уточнить запрос, система ответит, что Диоген жил в бочке.
Но в античной Элладе не было привычных нам бочек, там были амфоры. Поскольку в интернете огромное количество материалов говорит о том, что Диоген жил в бочке, искусственный интеллект с высокой вероятностью воспроизведет именно этот ответ.
Есть и вопрос обоснованности. Во время аудита коллеги показали мне пример жалобы клиента: «Я отказываюсь платить, потому что ChatGPT сказал мне, что эта работа столько не стоит».
Как к этому относиться? Достоверность и обоснованность выводов, которые делает искусственный интеллект, действительно остаются под вопросом.
Из личных наблюдений: я окончательно поверил, что это действительно интеллект, когда узнал, что у искусственного интеллекта бывают галлюцинации.
Что это означает? Неужели он сходит с ума?
Подобные ситуации действительно встречаются. Можно обратиться к опыту Яндекса и его беспилотных доставщиков, которые ездят в том числе возле конгресс-центров. У таких систем тоже могут возникать галлюцинации. Например, они способны принять сигнал машины с мигалками за сигнал светофора или, наоборот, неверно интерпретировать светофор и на основании этого сделать соответствующие выводы.
Еще один риск – предвзятость. Конечно, речь идет не о собственном желании системы. Предвзятость может быть заложена в нее разработчиками через настройки, обучающие данные и выбранные подходы. В результате система выдает тот результат, который нам хочется видеть. Насколько такой результат окажется полезен – большой вопрос.
Есть и сложности во взаимодействии человека и машины: как система интерпретирует требования, насколько ее интерпретация совпадает с намерениями человека и насколько сам человек правильно понимает полученный ответ.
Нельзя забывать и об угрозе потери рабочих мест. Многие считают себя уникальными специалистами и не боятся, что их заменит искусственный интеллект. Но для значительного количества профессий такая угроза вполне реальна.
Именно в ответ на эти риски и на изменившийся контекст разработчики стандарта решили предложить системный подход.
Специфичные термины AIMS
В стандарте появились специфические термины. Один из важнейших – Data quality, качество данных.
Существует множество стандартов, касающихся информации, ИТ-сервисов, информационной безопасности, непрерывности бизнеса и защиты персональных данных. Но понятие Data quality раньше практически нигде не занимало такого заметного места. Здесь оно выделено отдельно.
Появляется и понятие AI system impact assessment – оценки воздействия системы искусственного интеллекта.
Можно провести аналогию с business impact analysis. При обсуждении применения системы информационной безопасности в небольших компаниях анализ влияния на бизнес обычно становится одной из отправных точек.
Слово impact по-английски означает не просто какую-то угрозу. Речь идет о масштабном воздействии, способном остановить всю деятельность организации.
Стандарт также четко выделяет роли. Их полезно осознавать даже вне зависимости от требований сертификации.
Есть AI Producer – производитель системы искусственного интеллекта. Есть AI Provider – поставщик, который доносит эту систему до пользователя. Есть AI Partner – партнеры и AI customer – потребитель.
В определенном смысле пользователями систем искусственного интеллекта сегодня являются практически все. Если рассматривать нас как частных лиц, мы уже используем Алису и другие подобные сервисы. Среди организаций, возможно, еще остаются те, кто старается этого не делать. Но прогресс остановить невозможно.
Искусственный интеллект уже применяется для анализа кода, анализа данных, написания программ и решения множества других задач. Масштабы его использования продолжают расти.
Ответ стандарта заключается в том, что нам нужна система менеджмента, которая будет работать с этим систематически. Необходимо охватить организацию целиком, посмотреть, где в ней используются системы искусственного интеллекта и с какими сложностями и угрозами она может столкнуться.
Нужен ли отдельный специалист по управлению искусственным интеллектом
При обсуждении информационной безопасности часто возникает вопрос: нужен ли компании из 50 человек отдельный сотрудник, который будет заниматься только ИБ?
Теперь оказывается, что и этого может быть недостаточно. Помимо стандартной информационной безопасности, организации предлагается еще и системно подходить к искусственному интеллекту.
Получается, что стандартной информационной безопасности нам уже мало, а сверху появляется еще одна задача.
Когда перед нами возникает сложный вопрос, можно вспомнить Робинзона Крузо. Не знаю, читает ли его нынешнее поколение, но наше поколение читало. Когда Робинзон остался один на острове, он, чтобы обрести уверенность, выписал плюсы и минусы своего положения.
Посмотрим с этой точки зрения и на систему менеджмента искусственного интеллекта. Рассмотрим плюсы:
Первый плюс – структурированный подход к управлению рисками. Он позволяет увидеть риски, которые иначе могли остаться незамеченными.
Второй плюс – прозрачность решений. Организация начинает принимать решения осознанно.
Третий плюс – определенные гарантии безопасности, которые возникают благодаря системному подходу.
Повышение репутации. Системы менеджмента информационной безопасности и искусственного интеллекта можно монетизировать. На первый взгляд кажется, что это исключительно внутреннее дело организации. Но затраты можно окупить, если компания умеет рассказывать о созданной системе и использовать ее как конкурентное преимущество. Системой менеджмента искусственного интеллекта тоже можно хвастаться.
Наконец, существует возможность сертификации. Пока она в первую очередь актуальна для организаций масштаба Яндекса, Сбера или Ростелекома. Но теоретически такая возможность существует и для других компаний.
Теперь рассмотрим минусы.
Первый из них – ресурсы. При внедрении системы информационной безопасности приходится оценивать затраты в человеко-часах, деньгах и других ресурсах. Все это напрямую переносится и на безопасность систем искусственного интеллекта.
Любая безопасность обеспечивается определенной избыточностью и может приводить к замедлению процессов.
Возможны ложные тревоги, на которые необходимо реагировать. Системы еще достаточно молодые, поэтому всегда существует вероятность пропустить реальную угрозу или, наоборот, поднять бурю в стакане воды, когда этого делать не стоило.
Гарантии безопасности существуют, но они не являются абсолютными. Ни одна система не дает абсолютной уверенности.
Чтобы справляться со всеми этими проблемами, нужна система управления рисками.
Если мы решили, что плюсы перевешивают минусы, и начинаем работать с искусственным интеллектом на системном уровне, это не означает, что необходимо создавать целый отдел и заниматься этой темой полный рабочий день. Но в организации должны быть определены роли. В обязанности и ответственность людей, исполняющих эти роли, должны входить соответствующие задачи.
Общая структура риск-менеджмента AIMS
Общая структура управления рисками остается той же, что и в глобальном риск-менеджменте.
Сначала мы изучаем контекст организации и составляем реестр активов, которые имеют для нас ценность.
Затем накладываем на эти активы модели угроз и на основании моделей получаем сценарии реализации угроз.
После этого соотносим сценарии с уже реализованными мерами защиты.
Хотя тема искусственного интеллекта относительно новая, многие меры уже существуют. Есть общие техники информационной безопасности, которые продолжают работать и здесь.
Используя любой новый механизм, необходимо заранее задумываться о последствиях. Не случайно моя дочь спросила, что произойдет с данными, которые она передает системе. Такие вопросы уже являются частью управления рисками.
На стыке угроз, сценариев и реализованных мер мы получаем gap-анализ: видим, что уже закрыто мерами, а что остается без защиты.
Главный результат этого процесса – понимание того, что у нас хорошо, а что плохо. Насколько нас устраивает текущее состояние as is и какое состояние to be нам необходимо получить. Выявленные разрывы мы закрываем с помощью плана обработки рисков.
Все это обязательно нужно обобщить на уровне системы.
В разработке существует V-модель. Мы идем от стратегии, затем разрабатываем и реализуем решения, оцениваем отдельные риски, после чего должны замкнуть V-модель и вернуться на уровень всей системы.
Оценка воздействия ИИ-системы
Оценка воздействия систем искусственного интеллекта является многоплановой и многофакторной.
Здесь снова можно обратиться к аналогиям с предыдущими технологическими революциями. В истории Англии были луддиты, которые ломали машины. Они шли и разрушали оборудование, поскольку боялись потерять работу и стать невостребованными.
Нельзя сказать, что их страхи были полностью необоснованными. Люди действительно теряли работу. Потом они переучивались, появлялись новые рабочие места, но сам страх имел под собой основания.
Подходы искусственного интеллекта необходимо рассматривать на нескольких уровнях. На уровне отдельной организации все это, конечно, нужно делать. Но искусственный интеллект также очень сильно и радикально влияет на общество в целом. Поэтому в рамках ответственного подхода необходимо задумываться об ответственном применении систем искусственного интеллекта.
Возникает закономерный вопрос: не слишком ли рано говорить о системном подходе? Не устраиваем ли мы бурю в стакане воды? Действительно ли риски, о которых идет речь, заслуживают такого внимания?
Осторожность не помешает. Пока не все организации активно используют искусственный интеллект. Я сам крайне аккуратно применяю его в своей профессии. Но прогресс невозможно остановить.
Сначала я даже хотел сравнить развитие искусственного интеллекта с неолитической революцией, когда человечество перешло от собирательства к производству. Потом решил, что это все-таки некоторое преувеличение.
Но по масштабу воздействия искусственный интеллект, на мой взгляд, вполне сопоставим с промышленной революцией XIX века или компьютерной революцией XX века – если не прямо сейчас, то в ближайшем будущем.
Уже сегодня всем компаниям, даже самым маленьким, пора иметь стратегию в области ИТ. Пока далеко не каждой компании нужна самостоятельная стратегия работы с искусственным интеллектом. Но задумываться об этом уже пора.
Модель «галстук-бабочка» для рисков искусственного интеллекта
Для работы с рисками искусственного интеллекта подходят те же инструменты, которые используются в других областях.
Например, моя любимая модель «галстук-бабочка» и привычная для ИТ-сферы последовательность «актив – угроза – уязвимость».
Есть актив, с которым может произойти инцидент. Слева располагаются угрозы, способные через определенные сценарии привести к этому инциденту. Справа – потери и последствия, возникающие после инцидента.
Эту модель можно применять и при работе с системами искусственного интеллекта.
Особенно важен организационный аспект. Необходимо понять, что этой темой уже пора заниматься. Из организационного аспекта будут следовать все остальные.
Организация начинается со стратегии. Стратегия переходит в конкретные меры, ответственность, полномочия и дальнейшие действия.
Важен и экономический аспект. Все мы живем в условиях ограниченных ресурсов, а в последнее время финансовые ресурсы ограничены особенно заметно. Поэтому необходимо понимать, за счет чего организация будет реализовывать эти меры и как будет обосновывать затраты.
Структура контролей
Стандарт дает достаточно конкретные подсказки относительно того, что необходимо делать. В нем для этого используется специфическое слово «контроли» – меры управления.
Разработчики стандарта выделяют несколько крупных блоков: организационные меры, взаимодействие, работа с данными и работа с заинтересованными сторонами. Все меры сведены в приложение А:
Часть из них нам уже знакома. Это ресурсы, политики и организация внутренней деятельности. По сути, многие такие меры перенесены из стандартов по информационной безопасности.
Отдельно выделяется оценка воздействия. При этом воздействие может быть не только негативным. Организация должна понимать весь спектр возможных последствий.
Отдельное внимание уделяется жизненному циклу. Это очень важно, поскольку любой объект имеет жизненный цикл. Мы говорим о жизненном цикле команды, проекта и системы. Для искусственного интеллекта жизненный цикл тоже должен рассматриваться во всей полноте, как единое целое.
Особо выделяется понятие «качество данных».
Большой упор делается на работу с заинтересованными сторонами. Причем стандарт отдельно говорит о непосредственных участниках, но и о третьих сторонах.
Системы искусственного интеллекта заведомо являются открытыми и вовлекают большое количество участников. Поэтому взаимодействие со всеми этими сторонами необходимо учитывать отдельно.
Как клиент может оспорить стоимость работы с помощью ChatGPT
Рассмотрим конкретный пример применения системы управления рисками и методики «галстук-бабочка».
Допустим, у организации есть актив – финансы.
Клиент оспаривает принятое компанией решение и говорит: «ChatGPT сказал мне, что эта работа столько не стоит, поэтому платить я не буду».
Источник угрозы заключается в том, что клиент доверяет выводам искусственного интеллекта, хотя, как мы уже выяснили, таким выводам нельзя доверять безоговорочно.
Какие барьеры можно поставить на пути этой угрозы?
Во-первых, необходимо заранее и честно сообщать клиенту условия договора. Уже при его заключении нужно объяснить: «У нас установлена такая-то часовая ставка, действуют такие-то правила и выполняются такие-то работы. Нигде в нашем договоре оценки искусственного интеллекта не фигурируют».
В том случае, который я приводил в качестве примера, это заранее сделано не было. В результате компании пришлось признать абсурдную жалобу клиента обоснованной и выполнить для него всю работу бесплатно.
Во-вторых, никто не отменял просветительскую работу. Клиента необходимо информировать о сути подобных систем, работать на опережение и объяснять, почему не стоит слепо следовать подсказкам искусственного интеллекта.
Если инцидент уже произошел, организация сталкивается с финансовыми потерями.
В модели «галстук-бабочка» слева располагаются проактивные меры, а справа – реактивные. Они применяются, когда событие уже произошло и необходимо снижать последствия.
Бывают и фатальные случаи, когда одним из вариантов защитного барьера становится полное прекращение взаимодействия с клиентом.
Также возникает риск потери клиентской базы из-за подобного отношения. Здесь должна работать корпоративная солидарность. Необходимо в том числе договариваться с партнерами о том, как реагировать на такие ситуации.
Сбалансированность подхода
Разработчики ISO пришли к выводу, что проблема уже является системной, и предложили системный ответ.
Этот ответ достаточно дорогостоящий. Даже если организация не ставит перед собой цель пройти сертификацию, внедрение системы менеджмента искусственного интеллекта потребует ресурсов.
Можно создать надстройку над существующей системой информационной безопасности или построить самостоятельную систему. Но даже минимальный формат, при котором организация просто определяет, где использует искусственный интеллект и какие подходы там применяются, создает дополнительные затраты.
Тем не менее плюсы такого подхода мы уже рассмотрели.
Если организация внедряет систему – сильно формализованную или не очень формализованную, – она должна помнить о нескольких требованиях.
Первое – структурированность.
Человеку свойственно действовать от инцидента. Произошел инцидент в одном месте – все бросаются туда. Произошел в другом – все переключаются на него.
Но инцидент может быть случайным стечением обстоятельств, в то время как настоящая угроза находится совсем в другом месте. Поэтому системный подход обязательно должен быть структурированным.
Второе – воспроизводимость.
Подходы и инструменты быстро меняются. Организации необходимо регулярно запускать механизмы управления и понимать, насколько она соответствует новым условиям.
Также нужно оценивать, насколько получаемые данные и результаты сопоставимы с тем, что организация делала раньше. Не должно происходить потери преемственности.
Третье – динамичность.
Ситуация меняется стремительно, и за ней необходимо успевать.
Существует закон, связанный с мониторингом процессов: если мы хотим контролировать процесс, частота мониторинга должна быть как минимум вдвое выше характерной частоты изменения этого процесса.
Те, кто увлекается музыкой, знают, что частота дискретизации компакт-диска составляет около 44 кГц. Почему именно 44? Верхняя граница воспринимаемых человеком частот составляет примерно 20 кГц, и частота дискретизации должна быть как минимум вдвое выше.
Тот же принцип относится к любой системе мониторинга, включая мониторинг систем искусственного интеллекта.
Чтобы не пропускать важные изменения, организация должна проводить оценку достаточно часто и учитывать скорость развития самих технологий.
Конечно, выполнить все эти три требования довольно непросто. Но «нам никто не обещал, что будет легко». Это – цена прогресса. И чем значительнее прогресс, тем больше цена.
*************
Статья написана по итогам доклада (видео), прочитанного на конференции INFOSTART TEAM EVENT.
