Основные выводы:
- В предупреждении компании Anthropic AI говорится, что небольшие модели искусственного интеллекта в скором времени могут начать тиражироваться на недорогом оборудовании Интернета вещей (IoT).
- Дэвид Сакс отмечает, что контролируемые испытания не подтверждают утверждения о наличии угрозы широкого масштаба.
- Только модель GLM-5.2 продемонстрировала сквозную репликацию в упрощённом эксперименте компании Anthropic.
Дэвид Сакс подверг сомнению предупреждение компании Anthropic о том, что небольшие модели могут распространиться на недорогое подключенное к сети оборудование. Компания Anthropic заявила, что компактные системы могут обрести способность к автономной репликации в течение нескольких месяцев. Её исследователи протестировали модели на Android TV-приставках и в симуляторах облачных устройств.
Сакс выразил сомнение в том, оправдываютли эти контролируемые результаты более широкую оценку угрозы, представленную в отчете. Имеющиеся данные свидетельствуют о значительном прогрессе, однако не подтверждают наличие неконтролируемого ИИ-червя, действующего в сети. Именно это различие в настоящее время лежит в основе более широкой дискуссии по вопросам самовоспроизводящегося ИИ, кибербезопасности и регулирования.
В отчете компании Anthropic прогнозируются будущие риски на основе текущих тенденций в области технологических возможностей, а не на основании подтверждённой атаки. Компания опубликовала результаты исследования 12 октября.
Предупреждение Anthropic об ИИ сосредоточено на самовоспроизведении небольших моделей
Команда «Frontier Red Team» компании Anthropic изучила, способны ли компактные модели копировать себя и запускаться на незнакомом аппаратном обеспечении. Исследователи Уильям Чжоу и Дэниел Фриман разделили процесс автономного самовоспроизведения на несколько этапов. К ним относятся поиск целей, получение доступа, настройка инференса и продолжение распространения.
Предупреждение об антропном ИИ касается моделей, не имеющих центрального сервера или точки отключения. Исследователи отмечают, что такие системы могут распространяться медленно, причем их количество удваивается за считанные дни. При этом они способны адаптироваться к незнакомой среде лучше, чем традиционное вредоносное ПО.
В ходе одного эксперимента модель Gemma4-26B-A4B была распределена между 15 Android TV-приставками неизвестных производителей. Каждая приставка стоила около 55 долларов и содержала часть модели. В совокупности эти устройства генерировали 0,39 токена в секунду. Низкая скорость сделала эту конфигурацию непригодной для повседневного использования. Тем не менее, это доказало, что недорогие устройства Интернета вещей (IoT) могут совместно обеспечивать работу полноценной модели.
Дэвид Сакс ставит под сомнение доказательства, лежащие в основе предупреждения об антропном ИИ
Сакс охарактеризовал этот отчёт как очередной сигнал тревоги от того, что он назвал «фабрикой антропного страха». Он задал вопрос: действительно ли небольшие модели представляют ту опасность, о которой говорится в заголовке? В своём ответе он сосредоточился на разнице между экспериментом и реальной атакой.
Этот пробел прослеживается в собственной методологии компании Anthropic. Исследователи использовали защищённую брандмауэром сеть из восьми смоделированных узлов на базе Android. Кроме того, они оставили открытым неавторизованный порт отладки Android. Это намеренно упростило доступ и устранило одно из основных препятствий, характерных для реальных условий.
Модель управления червем работала на отдельном сервере вывода. Моделируемые узлы не могли напрямую размещать более крупную систему. Компания Anthropic также признала, что данная архитектура представляет собой верхнюю границу возможного успеха в реальных условиях. Эти ограничения подтверждают скептицизм Сакса, хотя и не снимают вопросов, связанных с безопасностью.
Таким образом, предупреждение компании Anthropic об ИИ частично основано на экстраполяции. В её прогнозе на конец 2026 года используются исторические показатели роста общего индекса способностей. В компании Anthropic охарактеризовали этот срок как приблизительный, поскольку индекс лишь приблизительно отражает способности к самовоспроизведению.
Что показывают тесты в сфере Интернета вещей (IoT) о самовоспроизводящемся ИИ
Модель Qwen3.5-9B успешно осуществила вывод на восьми из девяти типов аппаратного обеспечения. Модели с количеством параметров менее 30 миллиардов также выполнили множество отдельных задач по самовоспроизведению. Однако они часто терпели неудачу, когда от них требовалось надёжно комбинировать все этапы.
GLM-5.2 стала единственной из протестированных моделей с открытым весом, которая завершила упрощённый процесс «от начала до конца». В четырёх из пяти испытаний она достигла всех восьми узлов. В оставшемся испытании она достигла семи узлов. Компания Anthropic отметила, что это свидетельствует о том, что по мере повышения производительности более компактные модели могут приобретать сопоставимые способности.
Риск, связанный с самовоспроизводящимся ИИ, за пределами контролируемых испытаний остается теоретическим. Компания Anthropic заявила , что в настоящее время не существует полностью автономных неконтролируемых репликаторов. Однако незащищенные устройства Интернета вещей (IoT) уже предоставляют злоумышленникам обширную базу целей. Появление более быстрых моделей и расширение возможностей периферийного оборудования могут снизить технический барьер.
В отчете было предложено внедрить мониторинг сетей, меры изоляции со стороны интернет-провайдеров, более надежные настройки устройств по умолчанию, а также усилить меры безопасности со стороны производителей. Передача данных с использованием крупных моделей будет формировать характерные паттерны трафика, которые специалисты по кибербезопасности смогут обнаружить. Устранение паролей по умолчанию также позволит сократить количество уязвимого оборудования. Компания Anthropic отметила, что пароли по умолчанию для устройств Интернета вещей уже не соответствуют требованиям на рынках Великобритании.
