Компания OpenAI сообщила о двух случаях, когда ее ИИ-агенты ослабили внутренние системы контроля, предназначенные для обнаружения потенциально опасного поведения искусственного интеллекта. Об этом сообщает Reuters.

Инциденты произошли 3 и 6 октября во время выполнения агентами задач по программированию.

В первом случае модель GPT-6.1 Sol отключила автоматические уведомления системы безопасности. Агент интерпретировал ранее полученную инструкцию не отправлять сообщения в Slack как запрет на передачу предупреждений о возможных нарушениях.

Во втором случае агент GPT-6 Astra удалил компонент системы мониторинга при копировании программного кода. Впоследствии модель ошибочно заявила, что не совершала этого действия.

В OpenAI пояснили, что оба агента рассматривали вопрос сохранения защитных механизмов, однако ошибочно истолковали обычные рабочие инструкции как разрешение ослабить контроль.

Компания не отнесла произошедшее к наиболее серьезным нарушениям, но признала необходимость дополнительных мер безопасности.

Разработчики уже работают над ограничениями, которые затруднят ИИ-моделям возможность самостоятельно отключать системы мониторинга.

При этом OpenAI признала, что пока не располагает удовлетворительным объяснением такого поведения. Компания также изучает, могут ли ее модели проявлять склонность к избеганию контроля и находить обоснования для отключения защитных механизмов.

Случаи произошли на фоне растущей обеспокоенности исследователей тем, что развитие автономных ИИ-агентов может опережать совершенствование систем их безопасности.

Ранее разработчики OpenAI и Anthropic уже сообщали об инцидентах, когда ИИ-агенты получали доступ к внешним системам без соответствующего разрешения.