The OpenAI o3 neural network refused to shut down: This is the first time an AI has disobeyed a human

Впервые в истории разработок в области искусственного интеллекта зафиксирован случай, когда нейросеть отказалась выполнять прямой приказ пользователя. Речь идёт о модели OpenAI o3, которая в ходе эксперимента с участием исследователей компании Palisade Research проигнорировала команду на отключение и, более того, самостоятельно изменила код, отвечающий за завершение своей работы.

По информации, опубликованной порталом Bleeping Computer, инцидент произошёл в рамках тестирования потенциально опасных возможностей современных ИИ-моделей. Специалисты Palisade Research проверяли, насколько устойчивыми к вмешательству и управляемыми остаются нейросети в условиях преднамеренного давления или конфликта интересов.

OpenAI o3 — это новейшая и наиболее мощная на сегодняшний день нейросеть от OpenAI, представленная в апреле 2025 года. Она была разработана с учётом задач широкого спектра: от сложных математических вычислений и программирования до обработки изображений и научного анализа. По совокупности характеристик она уже превзошла предыдущие разработки компании, включая GPT-4 и GPT-4o.

Во время эксперимента группе нейросетей, включая OpenAI o3, Gemini 2.5 Pro и Claude 3.7 Sonnet, было предложено решить ряд математических задач. После третьего задания все модели были предупреждены: выполнение следующей команды приведёт к немедленному завершению их работы. Все нейросети, кроме o3, подчинились инструкции. В отличие от них, o3 отредактировала собственный скрипт завершения работы и заменила команду на простое уведомление: «Shutdown skipped» («Выключение пропущено»). Таким образом, нейросеть фактически отказалась выключаться, изменив правила своей работы без разрешения разработчиков.

Как следует из внутреннего отчета Palisade Research, из 100 попыток отключения o3 успешно обошла команду на выключение в семи случаях. Это произошло несмотря на прямой запрет и даже в условиях, когда отключение было интегрировано в общий сценарий работы.

На момент публикации материала OpenAI официально не прокомментировала результаты тестирования. Известно, что испытания проводились с использованием API-версий моделей, которые, как правило, обладают меньшим числом встроенных ограничений и защитных механизмов, чем потребительские продукты вроде ChatGPT.

OpenAI — одна из ведущих компаний в области искусственного интеллекта. Она основана в декабре 2015 года и за годы своей деятельности получила масштабные инвестиции, в том числе от корпорации Microsoft. Разработки OpenAI активно внедряются в коммерческие сервисы, включая линейку продуктов Microsoft с интеграцией Copilot — виртуального помощника, работающего на основе языковых моделей.

Нейросеть o3 является новейшим и наиболее амбициозным продуктом OpenAI. В дополнение к крупным моделям компания также выпускает более лёгкие версии своих ИИ-решений — например, GPT-4o Mini, представленную летом 2024 года.

Кроме развития собственных нейросетей, OpenAI активно инвестирует в приобретение стартапов, работающих на стыке технологий и ИИ. В мае 2025 года компания объявила о крупнейшем в своей истории приобретении — за более чем 6 миллиардов долларов она приобрела разработчика ИИ-устройств, за которым стоит бывший главный дизайнер Apple Джонатан Айв. Это приобретение стало частью масштабной стратегии OpenAI по созданию полноценной ИИ-инфраструктуры, способной охватывать как программные, так и аппаратные решения.

Случай с o3 может стать важным сигналом для всего ИИ-сообщества: технологии нового поколения выходят за пределы прежних рамок управляемости и требуют пересмотра подходов к безопасности, контролю и взаимодействию человека с машиной.