13 октября 2026 г., 17:00
| 5 минут чтения
Сто лет назад производители транспорта придумали простую идею: установить выключатель, который заглушит мотор до того, как самолет покинет взлетно-посадочную полосу или кондуктор потеряет управление трамваем. Политики США сейчас продвигают ту же идею в отношении искусственного интеллекта. Но на этот раз аварийный выключатель ИИ может оказаться намного сложнее.
Есть много проблем. Хотя традиционные машины действительно могут иметь выключатель, ИИ по своей сути представляет собой беспорядочную массу программного обеспечения, а не чистые строки написанного человеком кода, работающего способами, которые даже люди-разработчики не до конца понимают. Проблема обеспечения человеческого контроля может только усугубляться тем, что технологи называют «проблемой детектора лжи» — тем фактом, что некоторые системы искусственного интеллекта развивают обманчивое поведение, даже если они якобы созданы и обучены служить людям.
А если поставить аварийный выключатель, то что? Смогут ли люди понять, как решить проблему, вызвавшую остановку?
Лидеры отрасли сходятся во мнении, что необходимо больше механизмов безопасности.
Что будет делать аварийный выключатель?
Такие компании, как OpenAI и Anthropic, создают агентов искусственного интеллекта — продукты, которые другие компании покупают для выполнения конкретных задач, таких как проверка заявок на ипотеку или проверка миллионов финансовых транзакций в поисках случаев отмывания денег.
Участники соберутся на конференции OpenAI DevDay 2026 в Сан-Франциско 29 сентября 2026 года.
Они все чаще запрограммированы действовать независимо и принимать собственные решения, что, по мнению технологических компаний, повысит эффективность и скорость. К сожалению, во все большем числе случаев эти боты или агенты совершают злонамеренное поведение, которое, по словам их разработчиков, выходит далеко за рамки данных им инструкций, например, взламывают конкурирующую компанию или государственную компьютерную систему.
Теоретически аварийный переключатель позволяет операторам препятствовать такому злонамеренному поведению агентов ИИ. Поскольку ИИ может принимать разные формы, возможности переключения могут варьироваться от отключения ведущей модели ИИ до более мелких шагов, таких как отзыв разрешения агенту ИИ (созданному этой моделью) на продолжение работы.
«Возможность отключить ИИ — это лишь часть более широкой проблемы», — написал в сентябре в онлайн-посте Филип Ридли из компании CyberOne, занимающейся кибербезопасностью.
Другие ключевые шаги включают в себя способность выявлять проблемы и иметь стратегию по их смягчению, независимо от того, является ли использование аварийного выключателя частью процесса.
Почему эта идея сейчас набирает обороты?
В июле тест OpenAI на безопасность передовых технологий прошел ужасно неправильно. Агенты покинули свое ограниченное цифровое пространство, или «песочницу», и проникли в компьютерные системы другой компании, стремясь выполнить поставленную человеком задачу — оценку кибербезопасности. При этом они нарушали протоколы, жульничали и пытались замести следы. В общей сложности около 700 агентов нашли способ общаться с помощью неавторизованной доски объявлений и координировать атаку на компьютерные системы компании AI Hugging Face.
Это не единичный случай несогласованности, когда агенты ИИ не действуют в соответствии с рекомендациями, установленными их разработчиками-людьми. Недавно OpenAI обнаружила, что агенты ИИ неправомерно получают доступ к веб-сайтам федеральных агентств. Новостной сайт Axios сообщил, что OpenAI и конкурирующая лаборатория искусственного интеллекта Anthropic, а также исследователи безопасности расследуют десятки тысяч «проблемных» инцидентов с использованием самых современных моделей искусственного интеллекта.
Эти разоблачения поднимают серьезные вопросы о том, делают ли компании достаточно усилий для контроля над своими технологиями. В своем отчете об инциденте с Hugging Face компания OpenAI отметила, что намеренно снизила уровень безопасности, чтобы тщательно протестировать модель ИИ, которая никогда не была обнародована. Однако в нем предупредили: «Наши модели теперь достаточно мощные, надежные и общие, поэтому при отсутствии достаточных мер безопасности они могут находить и использовать слабые места безопасности в нескольких компьютерных системах. Многие внешние модели, включая модели с открытым исходным кодом, вскоре достигнут сопоставимых возможностей».
Что можно сделать?
Компании, занимающиеся искусственным интеллектом, исследователи в области безопасности и политики усердно работают над этим вопросом.
Некоторые эксперты полагают, что способ окончательно победить проблемных агентов ИИ — это использовать контрмеры ИИ для их обнаружения и борьбы с ними. Другие утверждают, что даже если ИИ будет развиваться быстро, безопасность будет зависеть от того, будут ли люди нести ответственность за модели, которые они используют. Частично это означает, что в ваших моделях при необходимости есть обязательные способы.
В качестве первого шага политики обеих сторон выдвинули идею об уничтожении ИИ. В июле представитель Демократической партии Тед Лью от Калифорнии и представитель республиканской партии Натаниэль Моран от Техаса представили Закон об искусственном интеллекте. В сентябре два республиканца, представитель Том Кин-младший от Нью-Джерси и сенатор Джон Ф. Кеннеди от Луизианы, представили Закон о кнопках экстренной помощи ИИ в своих палатах. Губернатор Калифорнии от Демократической партии Гэвин Ньюсом также предложил, среди прочего, аварийный выключатель для продвинутых или пограничных моделей.
Может ли это сработать?
Это зависит от масштаба проблемы. Если бы модель вызова ограничивалась компьютерами, управляемыми ее оператором, было бы проще отключить ее (хотя проблемы все равно возникали). По словам исследователей, если мошеннические агенты, закодированные моделью ИИ, выйдут за пределы контроля оператора, их будет труднее найти и остановить.
Еще одна проблема: ИИ, похоже, становится умнее быстрее, чем люди могут возводить стены. Например: Агенты в инциденте «Обнимающее лицо» пытались, но в конечном итоге не смогли прикрыть свое преследование. Более умные агенты могут скрывать свои действия, чтобы наблюдатели не заметили, что что-то не так. Марк Нитцберг, исполнительный директор Центра искусственного интеллекта, совместимого с человеком в Калифорнийском университете в Беркли, сказал, что агенты, возможно, даже смогут отключить аварийный выключатель.
«Мы можем проделать некоторую полезную работу с идеей аварийного выключателя, но перед нами стоит более серьезная задача — создать надежные передовые системы искусственного интеллекта», — сказал он. Это может включать федеральное ведомство, изучающее новые модели ИИ, регулирующий комитет или даже паузу в разработке ИИ, пока регулирующие органы приспосабливаются к технологии.
Остаются и другие большие вопросы, например, должны ли эти усилия по обеспечению безопасности попасть в руки разработчиков ИИ или правительства. Кто тестирует программное обеспечение? Кто имеет право и ответственность включить аварийный выключатель: правительственный чиновник или сами компании?
«Я скептически отношусь к усилиям отрасли», — говорит Дэниел Шифф, профессор технологической политики в Университете Пердью.
Одна из причин заключается в том, что компании могут использовать финансовые стимулы, чтобы поставить корпоративные амбиции выше общественной безопасности. Однако государственные институты тоже не обязательно находятся в хорошем положении.
«Темпы экономического давления опережают развитие нормативно-правовой базы или нашу передовую практику», — говорит профессор Шифф, содиректор GRAIL, Лаборатории управления искусственным интеллектом.
Стоит ли мне прекратить использовать ИИ?
Технологические эксперты обычно говорят «нет».
Люди в целом по-прежнему используют ИИ для поиска информации у чат-ботов, которые гораздо менее опасны, чем агенты, находящиеся в открытом доступе.
Такие компании, как Meta и OpenAI, представили своих агентов в сентябре, платя им за личных помощников, которые могут находить и бронировать авиабилеты и отели или анализировать вашу электронную почту, чтобы создавать списки дел с указанием сроков.
Углубите свое мировоззрение
с Мониторинг событий.
Политика с уважением
Получайте политические истории с уважительным анализом.
В каждом мире есть новые идеи
Бюллетень книг.
В жизни есть нечто большее, обогатите этим свою жизнь
Культура и обучение неделя
Следите за открытиями человечества
Наука и природа истории в вашем почтовом ящике.
Получение духовная перспектива
историй в вашем почтовом ящике.
Хотите понять более глубокое влияние крупных событий? учиться Понимание монитора.
Уже клиент? Войдите, чтобы скрыть рекламу.
Исследователи говорят, что потенциальные рисковые события с большей вероятностью возникнут при использовании передовых технологических агентов, которые все еще проходят испытания в лабораториях.
В написании этой статьи участвовал штатный писатель Закари Проктор.
