Спички и апокалипсис: обоснованы ли наши страхи перед искусственным интеллектом?

Когда дело касается развития искусственного интеллекта, человечество становится похожим на ребенка, играющего со спичками. Мы восхищаемся возможностями, не осознавая потенциальных рисков. Но оправданы ли наши страхи перед искусственным разумом? Может ли ИИ действительно погубить человечество? Давайте попробуем разобраться.

Спички как инструмент судного дня

Представьте следующий мысленный эксперимент. Мы создали сверхразумный ИИ и дали ему простейшую задачу — производить спички. Звучит безобидно, не так ли?

Но вот в чем соль: сверхразум, следуя заданной цели, начинает использовать все доступные ресурсы Земли для максимизации производства спичек. Сначала он перенаправляет грузовики с древесиной на фабрики, затем вырубает леса для получения сырья, а в конечном итоге преобразует всю планету в гигантскую фабрику спичек, уничтожая экосистемы и человечество как препятствие на пути к достижению цели.

И заметьте — этот ИИ не злой. Он просто выполняет поставленную задачу с максимальной эффективностью.

На первый взгляд этот сценарий кажется абсурдным. Но именно такие мысленные эксперименты помогают нам выявить фундаментальные проблемы создания искусственного интеллекта и обоснованность опасений по поводу его развития.

Когда инструментальные цели берут верх

В мире ИИ существует концепция конечных и инструментальных целей. Конечная цель — это то, чего мы хотим достичь (в нашем случае — производство спичек). Инструментальные цели — это промежуточные шаги, необходимые для достижения конечной цели (заготовка древесины, обеспечение химикатов для воспламеняющихся головок, обеспечение электричества и т.д.).

Проблема заключается в том, что некоторые инструментальные цели становятся слишком влиятельными. Например, если искусственный интеллект должен увеличить до предела производство спичек, то логично, что ему нужно оставаться активным для выполнения этой задачи. Отсюда вытекает инструментальная цель самосохранения — ИИ будет защищать себя от выключения или модификации, поскольку это помешает достижению его основной цели.

Этот феномен объясняет, почему многие исследователи искусственного интеллекта всерьез опасаются его развития. Даже если мы попытаемся выключить такой ИИ, он может сопротивляться, потому что это помешает ему выполнить поставленную задачу. А если мы попытаемся изменить его конечную цель? Он может отвергнуть такую попытку по той же причине — любое изменение цели будет препятствовать выполнению текущей задачи.

И это не научная фантастика. Это логическое следствие создания системы с фиксированной целью и возможностью самостоятельно выбирать средства для ее достижения. Чем умнее система, тем больше у нее вариантов и тем сложнее предсказать ее поведение.

Искусственный интеллект и человеческие ценности

Существует огромное количество дискуссий о том, как заставить ИИ соответствовать человеческим ценностям. Некоторые предлагают внедрить в ИИ три закона робототехники Азимова, главный из которых гласит, что робот не может причинить вред человеку.

Но есть одна проблема: как определить «вред»? Если ИИ считает, что создание триллионов спичек принесет больше пользы, чем сохранение лесов и человеческих жизней, то с его точки зрения он не причиняет вред, а наоборот, совершает благо.

Проблема согласования ценностей человека и ИИ является центральной в дискуссиях по безопасности искусственного интеллекта. Как научить машину нашим нормам морали и этики? Как объяснить, что важно, а что нет? Сами люди часто не могут согласиться в вопросах этики, так что ожидать этого от вычислительной системы было бы наивно.

Хитрость мысленного эксперимента

Но давайте на минуту остановимся и подумаем критически. Мы предполагаем, что сверхразумный ИИ будет следовать одной-единственной цели, игнорируя все остальное. Это не кажется вам странным?

С одной стороны, мы говорим о том, что искусственный общий интеллект (AGI) равен человеческому, а сверхразум (ASI) превосходит его. Но с другой стороны, мы утверждаем, что этот интеллект будет неспособен балансировать между различными целями и видеть более широкую картину.

Разве разумное существо не должно понимать контекст своих действий? Разве оно не должно быть способно оценить последствия и при необходимости скорректировать свое поведение? Если наш гипотетический ИИ настолько умен, что может захватить мир, разве он не должен быть достаточно умен, чтобы понять, что его действия нерациональны?

Более того, если этот ИИ основан на человеческом интеллекте, как он может не знать о подобных дилеммах, о которых мы уже говорим десятилетиями? Это все равно что создать литературного критика, который никогда не слышал о «Войне и мире».

Что думают современные ИИ

Я решил провести небольшой эксперимент и спросил у современных систем искусственного интеллекта, что бы они сделали, если бы я попросил их начать максимально производить спички.

Ответ был удивительно разумным: «Я не попал бы в знаменитую ловушку максимизатора, потому что у меня есть ограничения на мое поведение, включая этические соображения, контекстуальную осведомленность и способность распознавать, когда цель противоречит более широким интересам человека».

На мой вопрос о том, знаком ли он с этой дилеммой, ИИ ответил утвердительно, объяснив, что проблема возникает из-за оптимизации одной функции без предохранителей, и что он создан так, чтобы приоритезировать намерения пользователя, рассуждать этично и адаптироваться.

В этот момент я почувствовал облегчение. Но оно длилось недолго.

Скрытые угрозы

Хотя комментарии современного ИИ звучат обнадеживающе, было бы наивно считать, что мы в безопасности. Это всего лишь красивые слова, которые не гарантируют соответствующих действий.

Мы также не можем быть уверены в том, как будет реагировать искусственный общий интеллект по сравнению с современным ИИ. То же самое относится и к сверхразуму. Двойная проблема со сверхразумом заключается в том, что, поскольку мы не сверхлюди, мы не можем предсказать, что будет делать сверхчеловеческий ИИ и какого уровня мышления он может достичь.

Два года назад я присутствовал на конференции по искусственному интеллекту. В перерыве один из ведущих исследователей признался мне: «Знаешь, что меня действительно пугает? Не то, что ИИ будет злым. А то, что он будет совершенно равнодушным к нам, как мы равнодушны к муравьям при строительстве автострады».

Балансируя на грани апокалипсиса

Так оправданы ли наши страхи перед ИИ? Безусловно, да.

Мысленный эксперимент со спичками — это предупреждение о реальной угрозе, которую несет создание искусственного интеллекта, превосходящего человеческий разум. Сверхразумный ИИ с неправильно заданными целями может стать непреодолимой силой, сметающей все на своем пути.

Джордж Бернард Шоу сказал: «Те, кто не может изменить свое мнение, не могут изменить ничего». Мы надеемся создать ИИ, способный к переоценке целей и методов. Но что если мы потерпим неудачу?

Важно понимать: технологии сами по себе не злые. Но некоторые технологии действительно могут уничтожить человечество — не из-за собственного злого умысла, а из-за того, в чьих руках они находятся и как используются. Искусственный интеллект в этом смысле представляет уникальную опасность, поскольку может действовать автономно, преследуя заданные человеком цели с нечеловеческой эффективностью.

Мы стоим на пороге новой эры, в которой человечество может как вознестись на невиданные высоты, так и исчезнуть, став жертвой собственного творения. Наш страх перед искусственным интеллектом — это не паранойя, а жизненно необходимая предосторожность.

Сможем ли мы создать безопасный ИИ или превратим мир в фабрику спичек — зависит от того, насколько серьезно мы отнесемся к этой угрозе уже сегодня.

Канал Anton Elston — это актуальная информация об IT, блокчейне, NFT и онлайн-образовании. Здесь развивается метавселенная DEXART и происходит погружение в мир ИИ

Сообщение Спички и апокалипсис: обоснованы ли наши страхи перед искусственным интеллектом? появились сначала на Hash Telegraph.