уровня Элиезера1996, — ведь ему требовалось поднести готовое решение на блюдечке, чтобы привести аргумент, который он не смог бы опровергнуть.

Те немногие философы, что там присутствовали, не помогли ему выбраться из его затруднений. Философы ведь не скажут: «Извините, с моралью всё ясно, в когнитивной науке и философии этот вопрос уже решён, а ваша точка зрения попросту ошибочна». Природа морали по-прежнему остаётся открытым вопросом в философии, дискуссия всё ещё продолжается. Философ сочтёт своим долгом ознакомить вас со списком классических аргументов со всех сторон, а у Элиезера1996 вполне хватает ума, чтобы разбить большинство из них, и в результате он приходит к выводу, что философия — это бесплодная пустыня.

Но подождите. Дальше — хуже.

Не помню точно когда — возможно, в 1997 году, — но более молодой я (назовём его Элиезером1997) вознамерился неопровержимо доказать, что создание сверхинтеллекта — это единственно правильное решение.

*

296. Несусветная глупость зеленой юности.

В этих словах звучит несусветная глупость зеленой юности; безрассудство столь бездонного невежества, какое возможно лишь для представителя вашей эфемерной расы...

—Гарлейн из Эддора1

Давным-давно, много лет назад, я предложил таинственный ответ на таинственный вопрос — на что уже неоднократно намекал. Однако таинственным вопросом, на который я предложил таинственный ответ, было вовсе не сознание — или, скорее, не только сознание. Нет, куда более постыдная ошибка заключалась в том, что я придерживался таинственного взгляда на мораль.

Я откладывал обсуждение этого до сего момента, до окончания серии о метаэтике, потому что хотел, чтобы было совершенно ясно: Элиезер-1997 действительно ошибся.

Когда мы расстались с ним в прошлый раз, Элиезер-1997, не удовлетворившись интуитивными аргументами в пользу того, что сверхразум будет морален, вознамерился неопровержимо доказать, что создание сверхразума — это правильный поступок.

Что ж (говорил Элиезер-1997), начнем с вопроса: имеет ли жизнь вообще хоть какой-то смысл?

«Я не знаю», — тут же отвечал Элиезер-1997 с некоторой долей самодовольства от того, что признает собственное незнание по теме, в которой столь многие другие кажутся уверенными.

«Но, — продолжал он, —»

(Всегда настораживайтесь, когда за признанием своего незнания следует слово «Но».)

«Но если предположить, что жизнь не имеет смысла — то есть полезность всех исходов равна нулю, — то эта возможность исключается из любого расчета ожидаемой полезности. Следовательно, мы всегда можем действовать так, будто точно известно, что жизнь имеет смысл, даже если мы не знаем, в чем этот смысл заключается. Как нам этот смысл выяснить? Учитывая, что люди до сих пор спорят об этом, задача, вероятно, слишком сложна для человечества. А значит, нам нужен сверхразум, чтобы он решил ее за нас. Что же касается возможности того, что логического обоснования превосходства одних предпочтений над другими вообще не существует, то в этом случае строить сверхразум ничуть не более правильно или неправильно, чем делать что-либо еще. Это реальная возможность, но она выпадает из любой попытки рассчитать ожидаемую полезность — мы должны просто ее проигнорировать. Если кто-то утверждает, будто сверхразум уничтожит человечество, он либо доказывает, что уничтожение человечества на самом деле является правильным поступком (хотя мы и не видим причин, почему это должно быть так), либо утверждает, что правильных поступков не существует (и в этом случае его аргумент против создания разума опровергает сам себя)».

Эргх. Написать этот абзац было по-настоящему трудно. Мое прошлое «я» — это всегда мой самый концентрированный криптонит, потому что оно в точности воплощает все то, для блокировки чего я сегодняшний выработал в себе аллергию. Не зря говорят, что родители сами совершают все то, что запрещают делать детям, и именно поэтому знают, что этого делать нельзя; то же справедливо и для прошлых и будущих ипостасей самого себя.

Насколько ошибочен аргумент Элиезера-1997? Я со счета собьюсь, перечисляя все изъяны. Я знаю, что память ненадежна и реконструируется при каждом воспоминании, поэтому я не доверяю тому, как мой нынешний разум склеивает эти старые осколки. Не просите меня перечитывать мои старые работы — это слишком болезненно.

Но очевидно, что тогда я представлял себе полезность как некую субстанцию, внутренне присущее свойство. Так что фраза «жизнь бессмысленна» соответствовала полезности, равной нулю. Но, конечно, этот аргумент с тем же успехом сработал бы и при полезности, равной 100: если все имеет смысл, но смысл этот везде одинаков, то данный случай тоже должен исключаться... Разумеется, я тогда не думал о функции полезности как об аффинной структуре предпочтений. Я думал о «полезности» как об абсолютном уровне внутренней ценности.

Я думал о «следует» как о некоей чисто абстрактной сути непреодолимого побуждения, о «том-что-заставляет-тебя-что-то-делать»; так что любой разум, который вывел бы «следует», безусловно оказался бы им связан. Отсюда и предположение, которое Элиезер-1997 даже не догадался зафиксировать явно: будто логика, принуждающая абстрактный разум к какому-либо действию, — это в точности то же самое, что люди имеют в виду и на что ссылаются, произнося слово «правильно»...

Но сейчас я пытаюсь перечислить все эти изъяны, хотя, если вы следили за ходом мысли, вы вполне справитесь с этим самостоятельно.

Важный аспект всего этого провала заключался в том, что, доказав себе, будто случай «жизнь бессмысленна» не заслуживает рассмотрения, я посчитал необязательным строго определять понятия «интеллект» или «смысл». Ранее я придумал изящное оправдание тому, почему не стоит стремиться к формализму и строгости при определении «интеллекта» (или «морали»), а именно — все те подмены понятий, к которым прибегали прежние специалисты по ИИ, философы и моралисты, давая определения, упускавшие саму суть.

Отсюда я вынес следующий урок: каким бы умным ни было оправдание для снижения планки требований или уклонения от строгости, оно все равно выстрелит вам прямо в ногу.

И еще один урок: я был силен в опровержениях. Если бы я применил к собственной позиции тот же уровень критичности — когда аргумент отвергается при наличии малейшего изъяна, — какой я использовал для сокрушения доводов оппонентов, я бы сразу нацелился на этот логический пробел и отбросил свою позицию — если бы, конечно, захотел этого. Если бы относился к ней столь же предвзято, как к остальным позициям в этой дискуссии.

Но все это было до того, как я услышал о Канемане, до того, как узнал термин «мотивированный скептицизм», до того, как интегрировал концепцию единственно верного состояния неопределенности, суммирующего все имеющиеся