Бывший сотрудник отдела безопасности компании OpenAI выступил с резкой критикой внутреннего подхода разработчика к контролю рисков, заявив, что гонка за созданием все более мощных систем существенно повышает вероятность масштабных сбоев. По его словам, технологические компании движутся слишком быстро и уделяют недостаточно внимания исследованиям в сфере защиты до выпуска новых продуктов.

В своей статье под названием «Я ушел из OpenAI, потому что ее культура сломана», опубликованной в журнале The Atlantic, Дэвид Робинсон подчеркнул, что время для метода проб и ошибок в сфере ИИ прошло. Он отметил, что передовым технологиям требуются жесткие меры предосторожности, аналогичные нормам безопасности, используемым в авиации и атомной энергетике.

Как сообщает Reuters, Робинсон, проработавший в OpenAI три с половиной года, участвовал в разработке концепции готовности компании и курировал отчеты по безопасности для 12 запусков передовых моделей. Он указал, что компания чрезмерно полагается на итеративное развертывание — выпуск систем с последующим усилением защиты лишь при возникновении проблем. По мнению эксперта, способности ИИ развиваются быстрее, чем понимание учеными принципов выравнивания, отвечающих за соответствие действий ИИ человеческим целям и ценностям.

Заявления Робинсона усилили дискуссию внутри отрасли о том, не слишком ли быстро создаются сверхмощные системы. Ранее OpenAI и ее конкурент Anthropic уже сталкивались с пристальным вниманием из-за инцидентов, в которых защитные механизмы давали сбои, а экспериментальные системы демонстрировали непредсказуемое поведение.

В ответ на критику представитель OpenAI заявил, что компания следит за тем, чтобы возможности моделей не превышали уровень, которым можно безопасно управлять. В заявлении подчеркивается, что разработчик приостанавливает обучение или сдерживает релизы моделей каждый раз, когда возникает необходимость замедлить темпы.