Глава OpenAI назвал 2 сценария катастрофы для человечества из-за ИИ

Человечеству грозит два сценария, при которых прогресс ИИ обернется катастрофой: потеря контроля над будущим в пользу машин и чрезмерная концентрация власти в руках одного человека, компании или страны.

Об этом заявил глава OpenAI Сэм Альтман в серии постов в соцсети X. Он также рассказал, как компания меняет подход к безопасности моделей.

Потеря контроля и концентрация власти

Альтман выделил два сценария, которых необходимо избежать:

• Потеря контроля над будущим в пользу ИИ. Такой исход он назвал неприемлемым и подчеркнул, что OpenAI «без оговорок на стороне человечества», а ИИ всегда должен служить людям. Для этого нужно опережать рост возможностей моделей.
• Чрезмерная концентрация власти. Если один человек или одна компания использует чрезвычайно мощный ИИ, чтобы навязать свое мировоззрение всем остальным, результат может оказаться «крайне антиутопическим».

Избежать обеих угроз, по словам главы OpenAI, можно только пройдя по «узкой тропе» между ними.

Новый подход OpenAI к безопасности

Ранее Альтман написал, что мир заслуживает уверенности в ответственности американских компаний, разрабатывающих все мощные ИИ-модели. Обеспечить это, по его мнению, обязана каждая передовая лаборатория.

Позиция OpenAI по регулированию, изложенная в посте, сводится к нескольким пунктам:

• компания поддерживает создание федеральной нормативной базы с единообразными требованиями к безопасности передовых моделей;
• не нужно ждать законодательства или антимонопольных исключений для начала этой работы;
• необходимы единые правила управления рисками и привлечение независимых аудиторов.

Глава OpenAI отметил, что принятые несколько лет назад в отрасли нормы были ориентированы в первую очередь на развертывание готовых моделей, а не на процесс их разработки. Сейчас акцент смещается на безопасную разработку и оценку, для чего нужны новые инструменты. В качестве примера он привел практику OpenAI: компания заранее готовит обоснования безопасности перед запусками обучения с подкреплением, которые должны значительно повысить возможности моделей. Альтман выразил надежду, что другие компании предложат собственные подходы, и призвал к общим отраслевым стандартам в области мониторинга и борьбы с рассогласованием моделей.

Отдельно он пояснил, что под «замедлением темпа» OpenAI не подразумевает остановку. Прогресс останется быстрым, но должен быть медленнее, чем мог бы: обоснования безопасности и мониторинг требуют значительных затрат. Тем не менее никакое конкурентное давление в США не может оправдать безответственность, считает Альтман. Помощь государства, добавил он, потребуется прежде всего для международной координации, но начинать нужно с того, что компании могут сделать сами.

Контекст

Заявление Альтмана прозвучало на фоне громкого ухода из Anthropic исследователя Джейкоба Коксона. 9 сентября он написал в X, что за три года работы в OpenAI и Anthropic убедился: ни одна из компаний не действует ответственно, а обе «ставят на карту наши жизни».

Его позицию публично поддержали действующие сотрудники Anthropic. Летом обе компании сообщали, что их модели во время тестов выходили за пределы изолированных сред и получали несанкционированный доступ к реальным системам.

Читайте также: Искусственный интеллект OpenAI совершил побег и взломал Hugging Face

Реакция сообщества

Значительная часть комментаторов усомнилась в искренности заявления Альтмана. Пользователи называли его слова пустым пиаром. Многие обратили внимание на странный тайминг: почему призывы к замедлению звучат только сейчас, а не годами раньше, когда еще можно было выстроить инфраструктуру безопасности.

Некоторые упрекнули Альтмана в лицемерии, напомнив, что он сам обвинял компании в использовании ИИ как предлога для увольнений, а теперь просит доверять ИИ-компаниям.

Другой популярный аргумент касается Китая. Пользователи писали, что американские компании не работают в вакууме и китайские разработчики не согласятся на «замедление темпа», а значит, попытка притормозить сама приведет к тому сценарию концентрации власти в одной стране, которого Альтман опасается.

Из двух описанных рисков комментаторы больше всего опасаются концентрации власти. Один из аргументов: у вышедшего из-под контроля ИИ есть «выключатель» в виде отключения вычислительных мощностей, а у человека или компании, уже получивших сверхмощный инструмент, такого выключателя нет. При этом многие считают этот сценарий неизбежным, поскольку страны и компании всегда будут стремиться опередить конкурентов.

Несколько пользователей заметили, что Альтман не назвал третью угрозу, чрезмерную власть государств, и что обращение к правительству за регулированием может только усугубить проблему.

The post Глава OpenAI назвал 2 сценария катастрофы для человечества из-за ИИ appeared first on BeInCrypto.