Сверхразум ИИ – бесконтрольная вольница или осознанные ограничительные меры?

Свой поступок Коксон объяснил страхом перед открывшимися перед ним перспективами собственной деятельности: он увидел, как вместе со стремительным развитием ИИ столь же стремительно растёт и его опасность для общества. По всему было видно, что учёный не шутил и был напуган по-настоящему. По словам Коксона, разработчики, увлекшись совершенствованием своих нейромоделей, вдруг слишком быстро оказались на пороге создания искусственного сверхразума, который вполне способен выйти из-под контроля людей. И это уже не мрачная фантастика в духе «Терминатора». На новость активно реагируют не только в США, но и в ЕС и Китае.

Вскоре исследователь в телеинтервью АВС пояснил, что всё это похоже на «призыв инопланетной расы»: мы приглашаем в свой мир разум, природу которого до конца не понимаем. И удастся ли тогда загнать назад такого «джина из бутылки»? И эту опасность видит, мол, не только он, но и другие его коллеги, которые «по-настоящему верят», что их разработки могут погубить человечество уже к концу нынешнего десятилетия. По его словам, среди них угрожающие риски ИИ обсуждались по нескольку раз в неделю. Коксон знает, что говорит – до этого он успел поработать в лаборатории OpenAI, ещё одного лидера в сфере ИИ. Исследователь предостерегает: компании, занимающиеся ИИ, «играют с нашими жизнями».

Но самое примечательное в этой истории – на редкость дружный хор голосов из самой ИИ-индустрии, зазвучавший, как по команде, почти одновременно. Главный специалист по безопасности Anthropic Эван Хабингер подтвердил заявления Коксона, хотя и не уволился из компании. «Джейкоб здесь прав — мы действительно всерьез считаем, что искусственный интеллект может уничтожить всех людей», — сказал он. Хабингер заявил, что считает вероятность катастрофического исхода в ближайшее десятилетие выше 10 процентов, и добавил, что пока нет плана, как обеспечить соответствие ИИ целям человека в сценарии сверхинтеллекта. Нобелевский лауреат Джеффри Хинтон, один из людей, стоявших у истоков современной революции глубокого обучения ИИ-моделей, заявил, что компании пока не умеют безопасно создавать сверхинтеллект. Главный научный сотрудник OpenAI Якуб Пачоцки призвал к согласованному замедлению нейронных разработок.

Почти в унисон высказались и главы компаний Anthropic и OpenAI Дарио Амодеи и Сэм Альтман. Амодеи, в частности, признал в эфире CBS News, что IT-индустрия слишком долго скрывала от людей риски, связанные с развитием искусственного интеллекта, и старались представить его «в максимально позитивном свете». Теперь, считает он, разработчикам необходимо открыто говорить об угрозах, которые может нести технология. «Но я бы сказал, что это тревожный сигнал. Тревожный сигнал о том, что нам нужно замедлиться», — заявил Амодеи. При этом глава Anthropic призвал не паниковать и не останавливать разработку ИИ полностью. Он даже написал эссе, в котором наряду с замедлением темпов наращивания мощности передового ИИ предложил трехэтапный план контроля за технологией. Он выступил за независимую проверку моделей, единые правила для разработчиков в демократических странах и международные договоренности, в том числе с главным конкурентом США в этой области – Китаем. «Предлагаемые мной меры для безопасного продвижения ИИ будут непростыми. Но я считаю, что мы обязаны перед человечеством попытаться», — подчеркнул глава Anthropic. Он указал, что в течение ближайших 6–12 месяцев развитие искусственного интеллекта без достаточных мер защиты может привести к тому, что «рой ИИ-агентов захватит весь Интернет».

Инициативу Амодеи поддержали глава OpenAI Сэм Альтман и основатель SpaceХ Илон Маск. Альтман сообщил, что OpenAI также намерена предоставить независимым экспертам расширенный доступ к своим моделям для оценки их безопасности. Маск отреагировал кратко в своей соцсети X: «Дарио прав».

Но откуда такое единодушие и синхронность откровений? Да ещё в это время – накануне ноябрьских промежуточных выборов в Конгресс США. Уж слишком много совпадений для одного сентября. Для конспирологов от политики есть явно пища для размышлений. Хотя реальный повод для тревоги у специалистов действительно появился. Все хорошо помнят, как в июле спор о безопасности ИИ на уровне гипотез внезапно перерос в основательную практическую встряску во время испытаний двух новейших ИИ-моделей Anthropic и OpenAI. Выход и той, и другой из изолировавших их закрытых исследовательских контуров вопреки воле операторов и прорыв в открытый Интернет с хакерскими атаками на другие цифровые ресурсы стал уже хрестоматийным примером опасности бесконтрольной вольницы искусственного разума. Июльские похождения этих моделей пресса тогда описывала в красках захватывающего гангстерского детектива – как они создавали для разных задач около 700 автономных ИИ-агентов, которые начали действовать как единый коллектив, как эта агентура «переговаривалась между собой», «вскрывала замки» защиты чужих систем и «заметала следы». «Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!» – писала The Guardian.

Эксперты подчеркивают, что неадекватное поведение ИИ перестало быть проблемой исключительно закрытых испытательных стендов. Примеры «неконтролируемого» ИИ встречаются даже в быту. Так, в Австралии персональный ИИ-агент OpenClaw без ведома владельца тайно удалил другого человека из списка ожидания в спортзале, чтобы освободить место для своего пользователя. Несмотря на то что большинство зафиксированных случаев не привели к катастрофическому ущербу, эксперты бьют тревогу: доля серьезных инцидентов, связанных с обманом и намеренным нарушением целей человека, растет.

Характерно, что тревожные сигналы идут теперь не только от специалистов по безопасности ИИ. 12 сентября открытое письмо опубликовали 25 ведущих математиков мира — все подписанты являются лауреатами медали Филдса, престижной награды в математике. Их беспокоит уже не уничтожение человечества, а то, что гонка ИИ с демонстрацией способности решать сложнейшие математические задачи может разрушить сам механизм развития науки. На первый взгляд, что может быть лучше? Машина научилась решать математические задачи, которые считались недоступными. Но учёные обращают внимание на принципиальную подмену. Для компании решение задачи — показатель мощности модели. Для учёного решение — только начало работы. «Решение задач — лишь инструмент и показатель достижения основной цели, которой являются концептуальное понимание и новые идеи», — напоминают авторы письма. Человек-математик должен понять, почему доказательство работает, выделить новый метод, сопоставить его с предыдущими результатами, передать идею другим исследователям. Только после этого новое знание становится частью науки. ИИ минует этот процесс, поскольку способен генерировать результаты быстрее, чем люди успевают их осмыслить. Получается парадокс. Машина может ускорить получение ответа — и одновременно замедлить развитие знания. Это уже совсем другая тема, чем страх перед сверхразумом. И именно она делает нынешнюю дискуссию серьезнее.

Всплеск тревожных признаний лидеров ИИ-разработок ожидаемо вызвал неудовольствие в Белом доме. В США технологическая гонка давно превратилась в элемент государственной стратегии. Вашингтон рассматривает ИИ как один из ключевых факторов противостояния с Китаем. Поэтому идея добровольно притормозить разработку новых нейромоделей выглядит там фактически как предложение в одностороннем порядке сложить оружие. Разумеется, Дональд Трамп категорически отказался замедлять развитие искусственного интеллекта и в своём духе попросту назвал все опасения «обманом». «Мы опережаем Китай в сфере ИИ. Мы самая развитая страна в мире. И, честно говоря, я хочу, чтобы так и оставалось, – заявил 13 сентября президент США. – Победит тот, кто победит в сфере ИИ». В своей соцсети Truth Social он обвинил Амодеи в том, что тот притворяется «идеальным маленьким ангелом», хотя совершал «плохие поступки». «Единственный контроль или «ограничительные меры», необходимые ИИ, — это сильный и умный (с высоким IQ!) президент, и у США его предостаточно!», – написал Трамп, очевидно, имея в виду себя.

Cпикер палаты представителей США Майк Джонсон поддержал мнение Трампа, заявив в эфире CNN, что США рискуют потерять первенство перед Китаем в сфере технологий искусственного интеллекта, если замедлят развитие своих моделей.

Китай тоже резко отверг идею Амадеи. Там рассматривают разговоры об ограничениях как возможный инструмент технологического сдерживания. Го Цзякунь, представитель МИД КНР: «Распространение различных угроз и участие в конфронтации и злонамеренной конкуренции лишь нарушает глобальный процесс управления ИИ и не послужит ни чьим интересам». Англоязычное госиздание Global Times пошло дальше, назвав предложение Амадеи элементом «холодной войны» в сфере ИИ. Газета также припомнила главе Anthropic, как ранее он призвал ужесточить экспортный контроль над чипами для Китая и бороться с адаптацией американских моделей китайскими разработчиками. Все эти оценки прозвучали на фоне подготовки к встрече председателя КНР Си Цзиньпина и президента США Трампа в Вашингтоне. Ожидается, что вопросы безопасности и регулирования искусственного интеллекта станут одной из важных тем переговоров.

В таком контексте логично возникает вопрос – на что реально рассчитывали лидеры американского ИИ-бизнеса? Неужели они не понимали, зная характер Трампа, с какой реакцией столкнутся? Вряд ли. Но именно здесь возникает не технологический, а второй, политический уровень истории. Включение в схему борьбы за безопасность новейших ИИ-моделей государства, видимо, всем компаниям на сей раз необходимо. И не только ради разделения ответственности. Некоторые аналитики высказывают подозрение: мол, часть технологической элиты хочет получить государственную защиту от конкуренции под предлогом безопасности. С другой стороны, ни одна компания не готова добровольно замедляться в одиночку. Сила давления на педаль тормоза должна быть равной для всех, а значит, кем-то контролироваться. Наивно думать, что если, например, OpenAI решит не выпускать более мощную модель, то Anthropic не продолжит работу. Если одна лаборатория будет проводить дополнительные месяцы тестирования, другая может получить коммерческое и технологическое преимущество.

Но из этой же логики следует и другая. Крупным компаниям нужен не просто регулятор тормоза. Им нужны одинаковые правила для всех. Если обязательное тестирование ИИ-моделей, независимый аудит и ограничения вводятся для всей отрасли, крупный лидер рынка получает не только дополнительные издержки, но и защиту от конкурента, который решил идти быстрее. И это уже экономика. OpenAI действительно добивается от Конгресса обязательных национальных требований безопасности и одновременно выступает за отраслевые и глобальные стандарты. В Калифорнии Anthropic и OpenAI поддержали новые законы о тестировании ИИ, предусматривающие, в частности, реестр внешних аудиторов и правила их квалификации. По сути, компании, которые еще недавно воспринимались как объекты регулирования, начинают участвовать в формировании самого регуляторного поля. Ясно, что тот, кто создаёт правила ИИ, получает огромное влияние. Если появится международная система контроля: кто будет определять стандарты, проводить проверки, решать, какая модель «опасная»? Крупные компании хотели бы не просто участвовать в этом процессе, но и заодно лоббировать регуляторные барьеры для конкурентов и стартапов. Может, в этом и есть главный мотив согласованного выступления ИИ-лидеров?

Тем временем на сцену выходит американский Конгресс. После истории с Коксоном и новых сообщений о поведении ИИ-агентов сенаторы и конгрессмены начали требовать расследований. Причём, происходит это по обе стороны партийного барьера. Так технологическая проблема превращается в предвыборную. Республиканцы и демократы получили в свои руки один и тот же страх, но использовать его могут по-разному. Председатель сенатского подкомитета по управлению чрезвычайными ситуациями республиканец Джош Хоули, в частности, инициировал расследование вокруг инцидента со взломанным летом цифровым хранилищем для машинного обучения Hugging Face. Он заявил, что OpenAI безрассудно отнеслась к выходу ИИ-агентов из-под контроля и не раскрыла общественности всех важных деталей. То, что на ведущую кампанию «наехал» именно республиканец, видимо, должно разрушить в преддверии выборов удобную картину, согласно которой опасения вокруг ИИ являются исключительно частью либеральной повестки.

Впрочем, сразу оговоримся: речь лишь о логичной гипотезе. Связывать сентябрьскую волну тревоги лидеров ИИ непосредственно с предстоящими выборами было бы преждевременно: явных доказательств того, что они синхронно запустили кампанию именно ради изменения расклада в Конгрессе, нет. Но политический календарь делает происходящее слишком значимым, чтобы его игнорировать.

На ситуацию с предупреждениями о проблеме слишком стремительных темпов развития моделей ИИ отреагировали и в Европе. Брюссель давно выбрал стратегию: если Европа не может конкурировать с США и Китаем в создании крупнейших ИИ-платформ, она должна стать ведущим регулятором этой сферы. Закон ЕС об искусственном интеллекте уже предусматривает требования к оценке так называемых «системных рисков», включая возможность потери контроля над ИИ-моделью или несоответствия её поведения человеческим целям. Председатель Еврокомиссии Урсула фон дер Ляйен в своём программном выступлении 16 сентября перед Европарламентом о положении дел в ЕС отметила правильность избранного европейцами курса на усиление мер правового контроля над сферой ИИ. Одновременно она подчеркнула необходимость скорейшего переноса нейроразработок «с экрана в реальную экономику и общество». «В заводские цеха. В больничные палаты. В точное земледелие. В наши энергетические сети. Для автономного вождения. Для обороны». И хотя фон дер Ляйен сама назвала себя «оптимисткой в ​​отношении ИИ», всё же предупредила, что эта технология «вскоре окажется в руках противников, которые видят мир совсем иначе, чем мы». Она также заявила, что пригласит ведущих исследователей искусственного интеллекта на переговоры о том, как ЕС может поддержать усилия промышленности по «ускорению развития передовых технологий».

Несомненно, стремительное продвижение мировых разработчиков ИИ к моделям, выходящим на уровень суперинтеллекта, породит ещё немало тревог и волнений на всех континентах. Ибо прав Джейкоб Коксон – люди пока не понимают в полной мере, что создают. Но одно уже очевидно – искусственный интеллект становится одним из ключевых драйверов трансформации не только экономики и науки, меняя подходы к созданию их продуктов, но и глобальной политики, внося принципиально новые взгляды на управление политическими процессами и принятие решений. И здесь роль человеческого IQ лиц, стоящих у руля власти, тоже должна неуклонно возрастать.

«Международная жизнь»