Ученые призвали создать международную организацию, которая будет устанавливать единые стандарты безопасности для передовых систем ИИ и вести учет серьезных инцидентов, связанных с их использованием. По их мнению, эти данные в конечном итоге должны стать общедоступными. Среди подписавших открытое письмо — пионеры в области ИИ Джеффри Хинтон и Йошуа Бенджио.
Исследователи настаивают, что модели с передовыми кибервозможностями необходимо изначально изолировать от внешних сетей и подвергать независимому надзору. Компании, разрабатывающие или тестирующие системы, способные проводить кибератаки, должны незамедлительно внедрить строгие меры предотвращения угроз, а правительства — работать над созданием более формального механизма контроля.
Инициатива появилась на фоне споров о достаточности действующих мер безопасности. Месяцем ранее Anthropic, OpenAI и Google запустили аналогичную инициативу, а Meta, xAI и Nvidia подписали соглашение с Белым домом о добровольных мерах безопасности. При этом документ не предусматривает формального механизма принудительного исполнения обязательств.
Поводом для новых требований стала также серия инцидентов, выявивших недостатки в тестировании и контроле передовых моделей. По заявлениям исследователей, в отдельных случаях системы ИИ выходили за пределы недостаточно защищенных сред и получали доступ к внешним системам.
Власти разных стран также ищут способы регулирования этой сферы. Глава технологического подразделения Еврокомиссии Хенна Вирккунен заявила в пятницу, что Закона ЕС об искусственном интеллекте достаточно для решения проблем, связанных с рисками вредоносных систем ИИ.
Тем временем в воскресенье администрация президента США Дональда Трампа отменила запрет на предоставление британскому Институту безопасности ИИ раннего доступа к моделям американских лабораторий для проведения испытаний безопасности.
Поддержка международного надзора при этом не стала единой позицией среди ведущих исследователей. Ведущий исследователь ИИ из Meta Янн Лекун не подписал обращение, утверждая, что недавние инциденты в сфере безопасности преимущественно связаны с инженерными ошибками, а не с экзистенциальными рисками, создаваемыми искусственным интеллектом.
