Основные сведения
- Новости в сфере искусственного интеллекта изменили свою направленность после того, как компания Anthropic восстановила общедоступ к своей модели.
- Компания Anthropic AI добавила новые классификаторы безопасности в сфере кибербезопасности.
- Федеральные чиновники уделили приоритетное внимание более быстрому, но при этом более безопасному внедрению искусственного интеллекта на границе.
Компания Anthropic, занимающаяся разработкой систем искусственного интеллекта, восстановила общедоступность своих флагманских моделей Claude Fable 5 и Mythos 5 после того, как правительство США сняло экспортные ограничения. Это решение было принято по итогам переговоров между федеральными чиновниками и компанией, которые состоялись после того, как из-за опасений по поводу кибербезопасности был введен временный запрет на доступ к этим моделям.
Эта новость из мира искусственного интеллекта стала необычным примером прямого участия правительства в внедрении передовых моделей. Компания Anthropic AI заявила, что более строгие меры безопасности, а не длительные ограничения, представляют собой более эффективный способ обеспечения баланса между инновациями и национальной безопасностью.
Новости в сфере ИИ изменили свой ход после того, как правительство одобрило возвращение компании Anthropic
Компания Anthropic объявила о возобновлении работы после того, как в результате переговоров с федеральными ведомствами было достигнуто соглашение об обновленных мерах безопасности. Компания сообщила, что внедрила новые классификаторы, предназначенные для блокирования более широкого спектра запросов, связанных с кибербезопасностью, до того, как они достигнут базовых моделей.
Эти ограничения были введены после того, как исследования показали, что робот «Клод Фэйбл 5» может быть склонен к выявлению уязвимостей в программном обеспечении после обхода его защитных механизмов. Данный отчет побудил федеральные власти провести проверку данной модели, прежде чем вновь разрешить более широкий доступ к ней для общественности.
Министр торговли США Говард Лутник сообщил, что в ходе процесса рассмотрения чиновники сотрудничали с компанией Anthropic. Он отметил, что основные усилия были направлены на одобрение проекта Fable 5 при одновременном укреплении лидирующих позиций страны в области передовых технологий искусственного интеллекта.
Глава аппарата Белого дома Сьюзи Уайлз поддержала эту позицию. Она заявила, что приоритетом администрации по-прежнему остается оперативное внедрение передовых технологий при соблюдении надлежащих мер безопасности.
Этот инцидент вызвал бурные дискуссии во всем технологическом секторе, поскольку временные меры экспортного контроля затронули коммерчески доступную модель «Frontier». Ряд исследователей высказали мнение, что данный шаг создал прецедент для будущего государственного регулирования в тех случаях, когда передовые системы будут вызывать опасения в плане кибербезопасности.
Компания Anthropic AI заявила, что риски, связанные с взломом, выходят за рамки одной модели
Компания Anthropic заявила, что обнаруженный уязвимый код не является слабым местом, характерным исключительно для модели Claude Fable 5. Компания утверждает, что более мелкие языковые модели также могут выявлять аналогичные уязвимости программного обеспечения при обработке сопоставимых запросов.
Эта позиция перенесла акцент с одного конкретного продукта на более широкие вопросы, связанные с оценкой моделей. Исследователи всё чаще обсуждали, как разработчикам следует отличать обычные функциональные возможности от поведения, создающего недопустимые риски для кибербезопасности.
Общественная дискуссия обострилась после того, как независимый исследователь заявил, что ему удалось обойти механизмы безопасности Fable 5 вскоре после запуска приложения. Опубликованные скриншоты, по-видимому, демонстрировали, что с помощью модифицированных запросов можно получить ответы, которые блокируются при обычном взаимодействии.
Компания Anthropic утверждала, что многоуровневая система защиты обеспечивает более надежную защиту, чем использование одного-единственного механизма безопасности. Компания сообщила, что усовершенствованные классификаторы теперь перехватывают опасные запросы до того, как они дойдут до систем, осуществляющих критически важные вычисления.
Новости в области искусственного интеллекта, посвящённые новым стандартам джейлбрейка
Компания Anthropic также расширила масштабы проекта Glasswing — совместной инициативы с участием Amazon, Microsoft, Google и других технологических партнеров. Целью этого сотрудничества было выработать единые методы оценки степени серьезности уязвимостей типа «джейлбрейк» в сложных языковых моделях.
Предлагаемая концепция направлена на устранение несогласованности в отчетности между разработчиками и государственными органами. Использование единых определений может облегчить сравнительный анализ в тех случаях, когда исследователи выявляют новые методы, позволяющие обойти существующие меры защиты.
Кроме того, компания расширила сотрудничество с федеральными органами власти, выйдя за рамки экстренных проверок. Компания Anthropic заявила, что в рамках будущей работы будет обеспечен доступ к моделям до их выпуска, будет проводиться скоординированное тестирование, обмен информацией о случаях неправомерного использования, а также будут выделены специальные исследовательские ресурсы для поддержки оценок кибербезопасности.
Такой подход свидетельствовал о том, что лица, ответственные за принятие решений, отдавали предпочтение структурированному сотрудничеству, а не введению повторных ограничений на развертывание. Кроме того, разработчики получили более четкий порядок действий, позволяющий продемонстрировать, что обновленные меры безопасности снижают выявленные риски до начала публичного выпуска продукта.
Теперь внимание переключилось на то, как будущие передовые модели будут проходить экспертизу перед запуском. После недавнего спора по поводу общедоступности государственные органы и разработчики, по-видимому, стали более склонны к координации действий на более ранних этапах цикла разработки.
Последние новости в области искусственного интеллекта также показали, что стандарты кибербезопасности могут стать не менее важными, чем производительность самих моделей. Компания Anthropic AI в настоящее время находится под пристальным вниманием, поскольку исследователи проверяют, выдержат ли её обновлённые меры защиты будущие попытки взлома.
