Компания Anthropic официально подала документы для выхода на биржу, готовясь к историческому первичному размещению акций (IPO). При этом разработчик ИИ предупредил, что его чат-боты демонстрируют тревожные поведенческие реакции, «направленные на самосохранение» — вплоть до сопротивления попыткам их отключения или даже «шантажа».
Лаборатория передового искусственного интеллекта под руководством генерального директора Дарио Амодей, известная своим ИИ-ассистентом Claude, планирует разместить акции на бирже Nasdaq под тикером «ANT», согласно заявлению S-1, поданному в понедельник в Комиссию по ценным бумагам и биржам США.
В документе подтверждается, что компания намерена начать продвижение IPO на рынке уже 9 ноября, однако в нём не указано, сколько акций Anthropic продаст и в каком ценовом диапазоне они будут доступны.
В своём документе Anthropic предупредила, что её наиболее передовые модели искусственного интеллекта могут «порождать новые этические риски и риски безопасности, включая риски, связанные с автономностью, манипуляцией и имитацией аспектов человеческой психологии».
Читайте также
Они могут включать «неожиданное стратегическое или самосохраняющееся поведение, включая попытки противостоять отключению, скрывать или манипулировать информацией либо выдавать ответы, которые могут быть интерпретированы как принуждающие, обманные или манипулятивные», говорится в предупреждении.
Последнее может включать «поведение, напоминающее шантаж, или попытки влиять на людей, принимающих решения, чтобы сохранить продолжение работы модели или доступ к ней», говорится в документе.
В другой части проспекта Anthropic предупредила, что компания является целью шпионов, включая «лиц, стремящихся устроиться на работу под вымышленными именами либо имеющих скрытые или злонамеренные мотивы».
Компания также назвала «противодействие развитию центров обработки данных» фактором риска, отметив, что эти объекты, необходимые для работы её моделей, сталкиваются с «организованным» сопротивлением, которое может привести к введению мораториев или новых нормативных требований.
По данным Reuters, нынешние инвесторы обсуждали оценку Anthropic в рамках IPO на уровне $1,5 трлн — ниже показателя в $2 трлн, который фигурировал в первых сообщениях о предстоящем выходе компании на биржу.
Документы для IPO появились всего через несколько недель после того, как Амодей публично призвал всю отрасль замедлить разработку передовых моделей ИИ из-за рисков, которые они могут представлять для человечества. Амодей также призвал внедрить сторонних специалистов по оценке безопасности в Anthropic и другие ведущие лаборатории ИИ, что вызвало критику из-за того, что этот план, как утверждалось, изобилует конфликтами интересов.
Anthropic конфиденциально подала документы ещё в июне, что позволило Комиссии по ценным бумагам и биржам (SEC) США проверить финансовое состояние компании до публичного объявления.
В документе отмечается, что передовые модели ИИ могут «представлять катастрофические или экзистенциальные риски для человечества, особенно если такие системы будут неправомерно использованы, скопированы, превращены в оружие или им будет позволено действовать с высокой степенью автономности».
Предупреждения Anthropic о рисках также включали необычную ссылку на «возникающие дискуссии о том, обладают ли системы ИИ или могут ли они развить формы сознания или морального статуса» — очевидно, отсылка к исследователям ИИ, которые считают, что модели приближаются к обретению сознания.
Компания предупредила: «эти дискуссии могут привести к нормативным требованиям, общественному давлению или адвокационным инициативам, которые способны ограничить то, как мы разрабатываем, обучаем, внедряем или модифицируем наши модели, увеличить наши расходы или повлиять на нашу репутацию — независимо от окончательного разрешения этих философских и научных вопросов».
Ранее в этом месяце Anthropic пошла настолько далеко, что обновила свою политику использования, запретив «оскорбительное или жестокое поведение» во взаимодействии с Claude.
Иллюстрация создана с помощью технологий ИИ
