Вступление и приветствие

Интервью 1 - Джад Тефи - CEO и сооснователь компании Integral AI, бывший работник Google
Компания недавно объявила об изобретении AGI.

13 декабря 2024

Вступление и приветствие

Никола:
[Аплодисменты] [Музыка]
Меня зовут Никола, и вы смотрите Singularity FM — место, где мы берём интервью у будущего. Если вам нравится этот подкаст, вы можете проявить свою поддержку, оставив отзыв в iTunes или став патроном через сайт interviewthefuture.com.

Мой сегодняшний гость — доктор Джад Тефи.
Джад — генеральный директор и соучредитель компании Integral AI, которая занимается разработкой фундаментальных мировых моделей (Foundation World Models) для практического применения. Через Integral AI он приступил к реализации миссии по предоставлению человечеству подлинного магического гранта. Об этом мы обязательно поговорим.

Однако до основания Integral AI Джад почти десять лет проработал в Google AI, где возглавлял создание генеративных моделей воображения и руководил исследованиями в области обучения по ограниченным данным.

Кроме того, Джад — автор готовящейся к выходу серии книг под названием «Свобода» — четырёхтомного руководства, исследующего будущее ИИ, человеческий потенциал и трансформацию общества в эпоху ИИ общего назначения (AGI).

Итак, добро пожаловать на Singularity FM, Джад!

Джад:
Благодарю за приглашение — замечательно.

Кто такой Джад? Самопортрет в одном предложении

Никола:
Итак, Джад, если мы встретимся с вами на какой-нибудь конференции или где-нибудь на территории кампуса Google (а это прекрасное место), и я никогда раньше с вами не встречался и ничего о вас не слышал, и мы едим обед за одним столом — и я спрошу: «Кто такой Джад Тефи?» — можете ли вы сами, в одном предложении, ответить на этот вопрос?

Джад:
Человек, испытывающий любопытство — любопытный человек, интересующийся миром.

Никола:
Прекрасно. Я знаю, что у вас весьма разнообразное образование и профессиональный опыт: вы учились в Канаде и Соединённых Штатах, жили и работали в США, а последние, вероятно, 5–10 лет — в Японии, где вы сейчас находитесь.

Ваши учёные степени тоже весьма разноплановы: математика, информатика, магистратура по квантовым вычислениям — чего только нет!
Какова была ваша первая любовь: информатика, математика, физика или квантовые вычисления?

Джад:
В детстве я был сильно увлечён и наукой, и искусством — и не мог выбрать между ними, пока мой учитель математики не сказал: «Искусством ты всегда сможешь заниматься как хобби, а вот наукой — нет; для неё нужно действительно чётко освоить математику».

Поэтому я углубился в физику. Всё моё детство прошло в окружении физики — Эйнштейн, квантовая механика. Современная физика — это действительно мощный инструмент для расширения сознания, показывающий, что реальность может отличаться от того, что мы ежедневно воспринимаем.

Это привело меня к философии. И в итоге, как я понял позже, — то, что университеты называют «дисциплиной», на самом деле представляет собой лишь условное название; по сути же это просто стремление понять, как устроен мир.

Вот как я определяю науку — и в конечном счёте — стремление постичь природу реальности.

Никола:
Прекрасно. И это мне очень нравится, потому что за последние 10–15–20 лет (с тех пор как я получил степень в области философии — бакалавриат по философии с акцентом на античную греческую и римскую философию) идея STEM пронизала культуру.

И чем мощнее становилась технология, тем шире распространялась идея STEM.
Но лично для меня речь всегда шла не о STEM, а о STEAM: наука (Science), технологии (Technology), инженерия (Engineering), искусство (Art) и математика (Math).

Наука и технологии помогают нам жить лучше — безопаснее и комфортнее; они подсказывают, как жить.
Но именно искусство даёт нам цель — зачем жить или ради чего жить.

Поэтому я с большим удовольствием удивлён тому, насколько серьёзно вы относитесь к искусству.

Джад:
Благодарю вас.

Определение искусства: совместный запрос

Никола:
Могу ли я задать вам вопрос? Как вы сами определяете для себя искусство?

Джад:
Забавно, что вы спрашиваете — потому что я как раз собирался спросить вас, как вы определяете искусство, так как я знаю, какое большое значение это слово имеет для вас и вашей жизни. И я думаю, что как я, так и моя аудитория, многому могут у вас научиться.

Никола:
Хорошо. Для меня искусство — это подлинное творчество, которое я определяю как нечто выходящее за пределы воображения.

Воображение — это исследование возможностей того, что может быть, но искусство — это не только исследование этих возможностей, но и активный выбор, выходящий за рамки инерции. И именно этот выбор формирует реальность.

Таким образом, быть художником — значит быть соавтором реальности.
И когда мы думаем о самых великих художниках мира, они действительно формируют ту реальность, в которой мы живём.

Кстати, одна из моих основных речей посвящена так называемому «эффекту контекста» — не уверен, нужно ли мне уточнять у ChatGPT, возможно, кто-то другой тоже до этого додумался, — но идею придумал я сам: «эффект контекста», в котором я утверждаю, что ключевую роль играет контекст, а не контент, поскольку именно рамка важнее, чем факты. Факты обретают значение только внутри определённой рамки.

Кстати — чтобы ответить на ваш вопрос (потому что я не хочу уклоняться от него), у меня есть два определения, которые, возможно, окажутся вам полезными. Надеюсь, по крайней мере.

Одно — более общее, другое — более конкретное.

Более общее определение принадлежит Сету Годину — одному из моих героев. Я им восхищаюсь безмерно, и он говорит:

«Художник воспринимает всё лично. Художник рискует. Художник идёт на риск и берёт на себя ответственность».

Другое определение — более конкретное и близкое моему сердцу — звучит примерно так. Попробую вспомнить и точно передать:

«Искусство — это то, что утешает тех, кому некомфортно, и делает некомфортными тех, кому комфортно».

Это моё любимое определение искусства.

Джад:
Поразительно. Всё, что вы сказали, находит во мне глубокий отклик.

Что касается контекста и контента — я думаю, это действительно глубокая и верная мысль. Кстати, когда мы создаём модели, понимающие мир, мы понимаем: глядя на мир, вы видите не просто объект — вы воспринимаете целый контекст. И в конечном итоге уже в самом конце вы лишь приписываете этому объекту метку.

Похоже, это справедливо как для мозга, так и для нашего опыта реальности.

Что касается Сета Година — думаю, у нас с ним есть нечто общее. Я бы сказал — причёска.

Никола:
Я как раз собирался сказать то же самое: отсутствие вмешательства.

Джад:
Меня очень трогает его фраза «художник воспринимает всё лично», и для меня это одна из причин, по которым я считаю борьбу художника действительно важным аспектом. Быть художником — это вовсе не прогулка в парке.

Это должно быть нечто такое, что вы принимаете глубоко внутрь себя и исследуете через полноту эмоционального опыта — когда вы действительно создаёте искусство.

И когда вы сказали о третьем аспекте искусства, я записал: Искусство = Сострадание и Бунт. Точно. Да. Прекрасно сказано.

Никола:
Значит, у нас общий наставник — или, по крайней мере, человек, которому мы оба глубоко уважаем и которым восхищаемся: Сет Годин.

Наставники, детство и война

Никола:
Кто был вашим главным наставником или вдохновителем в детстве? Вы упоминали Альберта Эйнштейна — был ли это он? Или кто-то другой — например, Ричард Фейнман, если вы так увлекались физикой?

Джад:
Есть столько людей, которыми я глубоко восхищаюсь. Но в детстве у многих моих друзей висели плакаты Бритни Спирс… А в моей спальне висели три плаката: один — Эйнштейна, другой — Ньютона, а третий — Лейбница.

Никола:
Могу ли я спросить — я знаю, что вы родились в Ливане во время гражданской войны. Я правильно понимаю — да — во время гражданской войны.

Это, должно быть, было ужасное время. Сохранились ли у вас какие-нибудь воспоминания об этом? И — предположу — довольно трудное детство. Сколько вы прожили в Ливане? Когда вы уехали учиться за границу?

Джад:
Я вырос в Ливане — уехал примерно в возрасте 20 лет.

Я думаю, что вырасти в Ливане — это очень интенсивный и трансформирующий опыт. Эта страна полна противоречий: с точки зрения природы — невероятно красивая; люди — очень живые, деятельные и тёплые, с типичной средиземноморской атмосферой, — но при этом глубоко конфликтная.

Поэтому это отличное место, чтобы начать свою жизнь, если вы хотите развить в себе то самое стремление «воспринимать всё лично» — желание изменить мир, это художественное стремление.

Иногда я задаюсь вопросом: если бы я вырос в очень мирной стране, вроде Финляндии — захотел бы я так глубоко изменить мир? Воспринял бы я всё так лично?

Конечно, рост в условиях войны формирует личность. Но, к счастью, у меня была замечательная семья и большая поддержка — поэтому я смог преодолеть всё это и построить жизнь, которой по-настоящему доволен — и которой горжусь.

Никола:
Вам очень повезло — ведь многие люди, вероятно, не имели таких же возможностей, как вы в Ливане, особенно во время войны — и даже сегодня страна переживает одну катастрофу за другой. Кажется, ливанскому народу так и не удаётся поймать передышку.

От физики — к квантовым вычислениям

Никола:
Как вы совершили переход от общей физики к квантовым вычислениям — ведь это совершенно иная ниша или сфера. Было ли что-то конкретное, что привело вас туда? Есть ли какая-то история?

Джад:
Отличный вопрос. Позвольте мне сначала вернуться немного назад: нужно понять, где сейчас находится мир физики.
Большинство физиков говорят, что главная задача — объединить квантовую механику/квантовую теорию поля с общей теорией относительности. Я думаю, это неправильная постановка задачи.

Истинная проблема — создание адекватной теории самой квантовой механики. Научное сообщество до сих пор спорит о различных интерпретациях квантовой механики, и при детальном рассмотрении большинство из них, которые сначала кажутся привлекательными, оказываются всё более наивными.

Поэтому моя цель заключалась в том, чтобы как можно глубже понять квантовую механику. Я почувствовал, что рассмотрение через призму квантовых алгоритмов — теории того, что квантовый мир способен реально делать — поможет мне выработать глубокую интуицию в отношении квантовой механики. Таким образом, это был путь к её пониманию.

Это — одна сторона. Другая сторона: мне повезло оказаться в Ватерлоо — городе, который тогда (и, возможно, до сих пор) считался мировым центром квантовых вычислений. Там я мог общаться со многими выдающимися людьми.

Никола:
Как называется институт квантовых вычислений там? Я забыл — я бывал там дважды.

Джад:
IQC — и Институт Периметра (Perimeter Institute).

Никола:
Институт Периметра — да, отличное место.

Кстати, о физике: у меня был в гостях Лоуренс Краусс, и он без обиняков высказал своё мнение о теории струн вообще и об Митио Каку в частности. По его словам, это вообще не физика — по его мнению, это даже не наука, ведь её невозможно проверить экспериментально. Она настолько оторвана от научной практики, что он даже назвал её философией — и употребил это слово вовсе не как комплимент.

(Точно так же, как мне в армии прозвали Сократом — и это тоже не было комплиментом.)

Джад:
Я понимаю его точку зрения. Но позвольте мне, если можно, защитить её — я не считаю, что теория струн — правильный путь к единой модели реальности. Я думаю, что начинать нужно с более глубокого понимания квантовой физики.

Однако — мне кажется, в последнее время теория струн получает слишком много критики. Если взглянуть с контраргументной позиции и попытаться её защитить: попытка понять уже имеющуюся у нас физику — даже если пока нет проверяемых предсказаний — может быть полезной. (Кстати, не так уж верно, что вообще нет проверяемых предсказаний.)

Даже если бы их не было: переформулировка того, что мы уже знаем, может привести к новым прозрениям для следующего скачка. Так уже бывало — например, при переходе от ньютоновских уравнений к лагранжевой/гамильтоновой механике. Эта переформулировка облегчила переход к квантовой физике.

Поэтому иногда переосмысление уже известного — его переформулировка (что напрямую связано с нашей дискуссией о контексте и контенте!) — действительно помогает. Я хочу проявить терпимость: людям не обязательно сразу делать проверяемые предсказания. Переформулировка сама по себе имеет ценность.

Никола:
Это напоминает мне афоризм Марка Аврелия: «Цвет твоих мыслей — цвет твоего мира».
Это и есть ваш контекст. У всех нас перед глазами неизбежно надеты тонированные очки. Единственное, что мы можем сделать, — это осознать их наличие — чтобы по крайней мере учитывать это.

Мы не можем снять их полностью — из-за нашей телесной обусловленности у нас всегда будут предубеждения, точка зрения, частичность. Но лучше быть осознанным, чем нетосознанным. Тогда, возможно, мы сможем сознательно выбрать, какую рамку принять — ту, что служит нам наилучшим образом.

Это и есть чувство свободы и силы: свобода выбирать и сила следовать своему выбору.

Но, Джад — какова ваша самая большая мечта? Вы сказали, что хотите изменить мир — это она?

Джад:
Если мечта состоит только в изменении мира — мне кажется, это немного опасно. Изменяете ли вы его в лучшую сторону?

Я бы определил свою самую главную мечту сегодня так:

Помочь человечеству обрести всё большую и большую свободу.

Об этом вы тоже пишете в своей книге — которую мы обсудим позже.

Величайшие кризисы человечества

Никола:
Какие, по вашему мнению, самые серьёзные проблемы или угрозы, с которыми сегодня сталкивается человечество?

Существует группа учёных, поддерживающая «Часы Судного дня» — иногда обновляемые раз в год, иногда чаще. Сейчас, если я не ошибаюсь, стрелка стоит на отметке 20–30 секунд до полуночи — ближе, чем когда-либо, даже по сравнению с Карибским кризисом. И она остаётся там уже несколько лет — с момента начала российского вторжения в Украину, затем войны Израиля и Газы, падения режима Асада — кризис за кризисом.

Итак: какие 3–5 наиболее критических кризисов требуют сегодня особого внимания со стороны человечества?

Джад:
Очевидно, есть ядерный кризис — мой отец был ядерным физиком, поэтому я рос в этом контексте.
Климат — безусловно, проблема.

Но я бы поднялся на уровень выше и назвал их кризисами коллективных действий — как нам обеспечить согласованность между всё более могущественными заинтересованными сторонами?

Затем есть кризисы, исходящие от самой природы: комета, солнечные вспышки, новый вирус, энтропия, смерть.
Поэтому меня волнуют две вещи:

Коллективные действия — плохой обмен информацией, отсутствие ясности в общих целях. Существует прекрасная теорема: Теорема согласия Ауманна — если два человека будут бесконечно общаться, они в итоге согласятся во всём. Следовательно, это кризис коммуникации и разделяемого видения.
Мать-Природа — экзистенциальные риски, которые мы не можем контролировать, но можем предусмотреть.
Интересно, что эти две категории могут поддерживать друг друга: соглашение о том, что мы хотим преодолеть космические угрозы, может помочь преодолеть наши разногласия.

Никола:
Вы, вероятно, первый учёный в области ИИ/квантовых вычислений в моём подкасте, назвавший ядерное оружие в числе главных угроз — я аплодирую вам. Думаю, это точно входит в тройку, возможно, даже на первое место.

Но что касается внешних угроз (метеориты и т. д.): я не считаю их наиболее острыми угрозами из числа пяти главных сейчас. Я согласен с вашей классификацией, но считаю, что самая большая проблема человечества — это одна-единственная вещь:
Наша власть далеко опередила нашу мудрость в применении её без саморазрушения.

Это не климат, не ядерное оружие, не согласованность ИИ — всё это лишь симптомы.
Реальная проблема — отсутствие у людей согласованности, самоконтроля, дисциплины, уважения.

Самая большая задача — не контроль над ИИ, а контроль над самими собой.

Джад:
Многое из сказанного находит во мне отклик. В моей книге человеческая согласованность — это ключевой вопрос, особенно для согласованности ИИ общего назначения.

Но позвольте мне немного поспорить:

Существует постоянная экзистенциальная угроза: энтропия. Смерть неизбежна — и это могло бы нас объединить.
Власть и мудрость: я могу занять противоположную позицию — если вы дадите мне достаточную власть (излечить болезни, покончить с голодом), это может вдохновить на большую мудрость.

Так что это не «или/или», а циклическое взаимодействие. Отсутствие власти создаёт слабость, которая поощряет упрощённые решения, укрепляя низкий уровень мудрости.

Никола:
Смерть действительно фокусирует и проясняет — это наблюдается и на Востоке, и на Западе. Стоики, сократики: философия — это искусство умирать. В Японии — дзэн, бусидо — ежедневное созерцание смерти приносит ясность и благодарность.

«Memento Mori» — да?

Джад:
Да — бусидо. И это возвращает нас к началу: моё детство в Ливане заставило обрести эту мудрость очень рано. Гражданская война отличается тем, что смерть — за окном. Ракеты, бомбы — как фейерверки.

Именно тогда я начал практиковать медитацию — это чувство Memento Mori перевело меня от страха к уверенности, игре и лёгкости.

С тех пор я изучал западные традиции (стоицизм, каббалу, суфизм) и восточные (индуизм, тибетский буддизм, махаяну, ваджраяну, дзэн). Пожизненное путешествие. В нашей компании мы даже предлагаем медитацию как льготу сотрудникам.

Никола:
Был ли какой-то конкретный случай, который побудил вас начать медитировать?

Джад:
Да — мне было 5–6 лет. Ночь. Родители ушли — и не возвращались часами. Ракеты, бомбы, здание трясётся. Я думал, что они погибли.

В гражданской войне смерть видима. Это привело меня к размышлениям о смерти — и вдруг: А если это произойдёт? Я принял это — и перешёл в состояние игры. Затем родители вернулись.

Это был мой первый опыт медитации.

Никола:
В пять лет? Поразительно.

Хотели бы вы изменить мир без этого опыта? Мой прогноз — нет. И даже если бы вы и захотели, у вас не было бы той степени приверженности, того художественного желания «воспринимать всё лично».

Этот опыт — непосредственная близость со смертью — сформировал вашу движущую силу.

Что такое интеллект?

Никола:
Давайте поговорим о «И» в ИИ — интеллекте. Что это такое?

Джад:
Увлекательный вопрос. Я думаю, интеллект и жизнь почти синонимичны.

Есть история об энтропии: Вселенная формирует себя — и в какой-то момент что-то начинает стремиться сохраниться. Чтобы сохраниться, оно должно управлять своей средой и структурной целостностью — то есть управлять энтропией.

Но вычислить энтропию напрямую невозможно — поэтому лучшее, что можно сделать, — создать модель мира и себя — и минимизировать разницу между моделью и реальностью.

Этого можно добиться двумя способами:

улучшить восприятие/модель (это делает большинство),
или изменить мир так, чтобы он соответствовал вашей модели → это и есть действие.

Таким образом, и восприятие, и действие возникают естественным образом.

Это не моё определение — оно восходит к фон Нейману и, недавно, к Принципу свободной энергии Карла Фристона. Он стал для меня большим вдохновением — я общаюсь с ним со времён аспирантуры.

Итак: Интеллект — это адаптация себя к миру или адаптация мира к себе.

Никола:
Это напоминает мне цитату Джорджа Бернарда Шоу:

«Разумный человек приспосабливается к миру. Неразумный отказывается — и приспосабливает мир к себе. Весь прогресс зависит от неразумного человека».

И — художники очень неразумны.

Джад:
Точно.

Что такое ИИ? ИИОН? ИИН? Сингулярность?

Никола:
Теперь — а что насчёт искусственности? Как это меняет дело?

У меня уже 300 выпусков — и ни два эксперта по ИИ не дали мне одинакового определения ИИ. Даже Стюарт Рассел был раздражён — сказал, что оно есть в его учебнике… но никто больше им не пользуется.

Каково ваше определение?

Джад:
Мне не нравится слово «искусственный», если только не воспринимать его как «искусство» — «art» в «artificial». Обычно «искусственный» = поддельный. Но в ИИ нет ничего поддельного.

Поэтому я бы сказал:

ИИ — это искусство создания разумных систем и машин.

А теперь — более интересно: что такое ИИОН (ИИ общего назначения)?

Стандартные определения:

Уровень, соответствующий человеку, по широкому спектру задач,
Или: способность выполнять большинство экономически ценных задач.

Но они расплывчаты — ведь задачи меняются после появления модели! ИИ — это «то, что мы пока не умеем делать».

Поэтому вот моё определение:

ИИОН — это способность осваивать любой навык — при двух условиях:

Безопасно — без непреднамеренных последствий (например, научиться готовить, не сжигая кухню),

С энергоэффективностью — общее потребление энергии ≤ энергии, затрачиваемой человеком на освоение того же навыка.

Эти два критерия исключают «жульничество» — например, затраты огромной энергии или необходимость демонстраций человеком.

Это критерий освобождения: с ИИОН мы можем освободить людей от наёмного труда. Другие определения допускают «фермерство данных» — работу, при которой люди генерируют обучающие данные. Нам этого не нужно.

Никола:
Согласно вашему определению — ИИОН мы ещё не достигли, верно? Современные модели чрезвычайно неэффективны — компании покупают атомные электростанции для обучения. Китай строит 37 реакторов за 25 лет; США — 2.

Джад:
Согласен: современные трансформерные модели (даже с рассуждающими слоями вроде o1) не удовлетворяют критериям ИИОН.

Но — следите за анонсом, который наша компания сделает очень скоро.

Никола:
Вау — обязательно к этому вернёмся.

Далее: ИИН — Искусственный Интеллект Надчеловеческого уровня (Artificial Superintelligence).

Джад:
Много определений: «умнее самого умного человека» и т. д. Я предпочитаю асимптотическое определение — вдохновлённое шахматами.

После поражения Каспарова наступила эпоха ~18 месяцев «кентавров» — союза людей и ИИ, побеждавшего ИИ в одиночку.
Но как только ИИ + человек перестаёт побеждать ИИ в одиночку — это и есть суперинтеллект в данной области.

Поэтому:

Суперинтеллект (в области X) = ИИ + всё человечество ≤ ИИ в одиночку в области X.

Это асимптотично — мы можем приближаться к нему, но никогда полностью не достигнем (например, ИИ не может полностью смоделировать человека). Это сохраняет смысл человеческого существования навсегда.

Никола:
Но шахматы — замкнутая система, как и Го. А открытые системы? Пока нет.

Джад:
Совершенно верно — и именно поэтому это асимптотично. Мир — это не шахматная доска; он открыт. Это крайне важно. Это связано с переосмыслением физики как открытой, а не замкнутой системы.

Сингулярность: определения и «взлёт»

Никола:
Далее: Сингулярность. Что это для вас?

Джад:
Два распространённых определения:

Момент, когда мы больше не можем делать полезные прогнозы — всё движется слишком быстро. Мне нравится это определение — и в этом смысле сингулярность уже наступила: предсказывать на 5–10 лет вперёд становится невозможно.
Когда изменения столь стремительны, что человеческий интеллект становится нерелевантным. Этой точки зрения я не придерживаюсь.

Никола:
Я написал статью, в которой перечислил ~14–17 определений. Первое принадлежит школе «Предела событий» (Event Horizon); второе напоминает позицию Кевина Келли: «Изменения за следующие 5 минут превзойдут изменения за предыдущий миллион лет».

Но помимо определений — «мягкий» или «жёсткий» взлёт?

Вы намекнули, что он уже начался — «мягкий», ускоряющийся взлёт?

Джад:
Да — всё более ускоряющийся мягкий взлёт.

Но позвольте добавить моё определение:

Сингулярность — это состояние бесконечной свободы, бесконечного агентства — для самой Вселенной.

Опять же — асимптотическое. Точка на бесконечности. Наша цель — двигаться к ней.

Никола:
Алан Уоттс сказал бы, что Вселенная всегда обладала бесконечной свободой — она просто играет в прятки с самой собой (индуистская Лила — божественная игра). Мы забываем свою сущность, чтобы сделать игру интересной.

Джад:
Нет противоречия. Определение точки на бесконечности задаёт направление. Если вы уже там, но закрываете глаза — чего вы ищете? Вновь обнаружить это.

Но я бы не назвал это кругом — скорее спиралью: те же темы, но на каждом витке — богаче. Обновление вашей мировой модели — те же данные, новый контекст.

Никола:
Т. С. Элиот: «Мы не перестанем исследовать… и конец всех наших странствий будет в том, чтобы прийти туда, откуда начали, — и узнать это место впервые».

Джад:
Точно — обновление мировой модели.

Итак: мягкий, ускоряющийся взлёт — уже начался. Возможно, он начался с транзистора — или даже с сельского хозяйства. Это не детерминировано — завтра всё может закончить блуждающая планета. Но тенденция — на лицо.

Наш предстоящий анонс — важная веха, но лишь начало. Настоящая работа — масштабирование, внедрение и обсуждение смысла, цели, экономики, творчества, агентства…

Когда я начинал, я думал, что ИИОН — это финишная черта — теперь я понимаю, что это лишь стартовая черта.

ИИОН: сроки и анонс

Никола:
В основном — переход от пассивного к более активному, творческому, расширяющему наше агентство — всё это. Так что это не… когда я был маленьким — когда я только начал этот путь, я почти чувствовал, что достижение ИИОН — это, э-э, финальная точка. А теперь я—

Джад:
Я вижу в этом лишь стартовую точку для чего-то по-настоящему захватывающего. Каждый конец — это новое начало, верно? Так что мы просто смещаем кривую в новую парадигму и затем начинаем с самого низа в новой парадигме.

Никола:
Но, говоря об этом — сегодня 11 декабря 2024 года. Обычно мне требуется два-три дня, чтобы отредактировать эти беседы и выложить их онлайн для моей аудитории. Когда вы планируете сделать свой — свой анонс?

Джад:
У нас идёт эксперимент, и я не хочу анонсировать нечто, в чём я не полностью уверен и что не могу подтвердить. Поэтому всё зависит от того, как пройдёт этот эксперимент. Я не могу дать гарантии, потому что если он не сработает… но это может произойти до конца года или в начале следующего.

Никола:
То есть в течение ближайших нескольких недель? Ведь до конца года буквально 19 дней — максимум 20.

Джад:
Да. Дело в том, что все компоненты уже есть, и мы просто собираем их вместе и хотим увидеть, получим ли мы ожидаемый результат. Но мы не можем гарантировать успех, потому что, как вы знаете, могут возникнуть неизвестные неизвестные.

Никола:
Значит, я понимаю вас так: вы, по сути, проводите бета-тестирование своего — если угодно — ИИОН? Верно? И если результаты тестирования вас удовлетворят, вы опубликуете пресс-релиз — и, возможно, откроете доступ, API или что-то в этом роде — для широкой публики. А если нет — тогда не опубликуете.

Джад:
И я держу за вас кулаки — в каком-то смысле. В другом смысле я за вас и за всех нас волнуюсь. А в третьем — мне уже приходилось слышать такое же обещание 10 лет назад от гостей моего подкаста. У меня был человек, работавший над ИИОН и продолжающий работать до сих пор — и он тогда заверял, что вот-вот подходит к цели. Я приглашал его дважды — если не ошибаюсь, в последний раз это было в 2014 году. То есть 10 лет назад — а он всё ещё не достиг цели.

Джад:
Ну… э-э… вы, вероятно, не Джефф Хинтон, верно?

Никола:
Я точно не Джефф Хинтон — совершенно точно.

Джад:
Я очень люблю Джеффа Хинтона — у меня были с ним замечательные беседы; он очень весёлый и жизнерадостный человек. Один из способов, каким он подшучивает над собой: «Я уже нашёл ИИОН пять–десять раз», потому что каждые несколько лет он объявлял: «Я решил проблему! Я нашёл ключ!» — и затем начинался новый цикл. Именно поэтому я пока не делаю никаких анонсов — хотя в моём понимании у нас уже есть многие компоненты.

Никола:
Очень интересно. Хорошо — а что вы можете рассказать нам — не знаю — может быть, о компонентах? Что является компонентами ИИОН?

Джад:
Да — это интересная тема, э-э, потому что я не утверждаю, что уже всё достигнуто — но я могу рассказать о компонентах. Верно?

Никола:
Пожалуйста.

Джад:
Спасибо.

Компоненты ИИОН

Джад:
Итак, я бы выделил два фундаментальных этапа в разработке ИИОН.

Первый фундаментальный этап — наличие базовой модели. На данный момент базовыми моделями являются предобученные трансформеры. Они работают как чёрный ящик — и именно в этом кроется причина их неэффективности.

Они настолько неэффективны, потому что модель должна обнаружить все паттерны с помощью градиентного спуска — что, конечно, великолепно, но является методом грубой силы.

Если взглянуть на неокортекс — неокортекс — это лист бумаги примерно такого размера, свёрнутый и уложенный внутри черепа, отчего он выглядит таким морщинистым. Если рассмотреть структуру неокортекса, его можно разделить на миллионы повторяющихся цепей — мы называем их колонками или микроколонками — и оказывается, что все они делают примерно одно и то же.

Там много избыточности. И если подключить один модальный канал, например зрение, к другому — скажем, вкусу или слуху, — да, вы научитесь видеть языком. Да — и такой эксперимент уже проводился.

Когда я начинал в ИИ — возможно, 20 лет назад — я поставил себе целью понять: Как работает эта неокортикальная колонка? Какой алгоритм ею управляет?

И сейчас — спустя 20 лет — мы в основном подошли к решению этой задачи. Это новый класс предобученных моделей — новая архитектура, — которая не только делает предсказания, но и генерирует абстракции. И в этом — ключевое отличие.

Никола:
Абстракции, как вы знаете, — это сжатие: сжатие имеющихся данных. По сути, при этом теряются некоторые детали, но сохраняются существенные элементы.

Это как — поправьте меня, если я ошибаюсь, — одна из главных критик современных моделей заключается в том, что, скажем, ребёнок, родившись, может увидеть двух кошек — или двух собак — и затем всю оставшуюся жизнь знать, что такое кошка и что такое собака, даже если кошка отличается по размеру, цвету, форме и т. д.

Компьютерам же требуется два миллиарда кошек, чтобы примерно понять, что такое кошка, — и даже после этого время от времени они всё равно выдают нечто, что даже отдалённо не напоминает кошку, несмотря на два миллиарда примеров для обучения.

Верно ли это? И абстракция — это как раз то, что делает ребёнок на основе крайне малого числа примеров, — что делает его, возвращаясь к вашему предыдущему определению, чрезвычайно эффективным, верно? Потому что ему не нужны два миллиарда примеров; ему не нужна энергия для обработки двух миллиардов примеров при обучении своей модели. И он абстрагирует суть кошки — если хотите — в платоновском смысле, возможно, — а затем способен применять её к другим случаям, сравнивать и говорить: «Хорошо, это тоже кошка; это тоже кошка — или собака».

Но компьютеры по-прежнему испытывают с этим трудности — без огромной базы данных — что делает их неэффективными. И вы утверждаете, что ваша модель — одна из её уникальных особенностей, уникальных продающих преимуществ — решила эту проблему?

Джад:
Да — абстракция — это ключевая проблема. Я хочу — э-э — немного уточнить сказанное вами, если позволите. Я не эксперт — просто… в целом это верно.

Но я бы сказал: даже обычные трансформерные модели — когда они действуют методом грубой силы — всё же находят абстракции. Однако эти абстракции скрыты внутри сети. Их трудно точно выделить. Можно проделать некоторую работу по механистической интерпретируемости, чтобы попытаться их найти — и они, скажем так, неявные. А поскольку они неявные, они могут быть очень потеряющими информацию; они могут быть — они не имеют чёткой структуры. Существует некий серый спектр между: у вас действительно есть абстракция кошки и абстракции нет, но у вас есть масса примеров. Это не чётко разделено.

В некоторых случаях — знаете — крупные языковые модели действительно создают внутренние абстракции. В других — нет, они просто запоминают. Ничто не заставляет их иметь эти абстракции чётко. И именно это мы решили в нашей модели.

Так что это — первый важный компонент.

Никола:
Есть ли другие?

Джад:
Да — несколько. Продолжая в этой первой категории — о новом типе моделей.

Вам нужна способность создавать абстракции — и вам нужна способность непрерывно обучаться со временем. То есть: модели, которые не забывают, когда вы переходите из одной области в другую.

Это процесс непрерывного обучения. Сейчас, когда вы смотрите на модели — они обучаются очень долго, а затем, при переходе в новую область, вы их дообучаете — и они забывают. Это крайне расточительный процесс.

Наши модели могут непрерывно расти со временем — и расти разными способами: вы можете добавлять новые данные, и они будут обучаться, не забывая старого. Вы также можете добавлять к ним параметры — добавлять слои, добавлять модальности. Так что мы переходим от жёстких архитектур к моделям, которые растут — которые можно наращивать со временем — и это важный компонент открытого интеллекта.

И в этом, собственно, — суть обучения: рост, верно? Да — рост, очень важно — и суть времени. Но об этом мы поговорим в другой раз.

Хорошо — итак: новый класс моделей.

Второй этап — переход от моделей, которые более или менее пассивны, к активным агентам или операторам. Это включает использование этих моделей для эффективного планирования — и затем применения инструментов — таких как API, роботы — для совершения физических действий в мире — а затем обновления — возврата по кругу — обновления модели.

Этот процесс того, что мы называем Активным обучением, — это как научный метод: вы создаёте модель мира; вы планируете с этой моделью — вы знаете, чего не знаете; вы предпринимаете действие; и затем обновляете свою модель.

Вы проводите эксперимент — затем анализируете его результаты — и затем повторяете — основываясь на этом — и осваиваете навыки. Так вы осваиваете навыки. И вы формируете тело знаний и компетенций, способностей в мире.

И это — в сущности — и есть ИИОН.

Теперь — несколько слов о планировании. Сейчас много людей работают над планированием. Есть, конечно, модель о1 от OpenAI — но это очень неэффективная форма планирования — потому что такое планирование крайне исчерпывающее. Если посмотреть на энергозатраты планирования как функцию от глубины задачи — они экспоненциальны. Да — поэтому модели OpenAI столь дороги.

То, что мы выяснили, — это гораздо более эффективная форма планирования — использующая абстракции, о которых мы говорили.

Никола:
Вау. То есть, когда вы планируете поездку в другую страну, вы не планируете каждое отдельное действие, которое собираетесь совершить. Вы переходите на очень высокий уровень: примерно вы хотите купить билет и сесть в самолёт. Первый шаг — купить билет. Затем вы говорите: «Хорошо — чтобы купить билет, я открою компьютер — верно? — и воспользуюсь Google — э-э — чтобы найти билет, поискать билет. Первое — э-э — открыть компьютер. Чтобы сделать это, я задействую мышцу — верно? — и затем…» — вы планируете до мельчайших деталей.

Так что планировать на самом низком уровне — это безнадёжно. Вы хотите подняться вверх по иерархии — чтобы планировать эффективно — и спускаться вниз, когда это необходимо.

Таким образом, эта эффективная форма планирования — это нечто, что у вас уже есть. И способность использовать инструменты — это то, чем вы занимаетесь давно — потому что вы сосредоточены на робототехнике — а робототехника — это просто инструмент для ИИ. Это — способ предпринимать действия в физическом мире. Но вы также можете использовать цифровые инструменты — такие как программы, API, цифровые сервисы и т. д.

Таким образом, объединение всех этих компонентов и наблюдение за тем, как модель ИИ осваивает новые навыки, — это финальный шаг: просто совмещение способности создавать абстракции, планировать, предпринимать действия и осуществлять непрерывное обучение — и выполнение всего этого в цикле, в открытой среде.

Ну и финальный — ИИ — финальный шаг — это проверка того, что процесс обучения действительно произошёл, причём полезным, проверяемым и воспроизводимым образом во времени.

И — э-э — я полагаю, именно это вы и тестируете сейчас — э-э — исходя из того, что вы мне сказали.

Джад:
Если бы у меня были деньги для инвестиций — я бы сейчас думал: Как мне инвестировать в компанию этого человека? И я никогда раньше не говорил такое в своём подкасте — но вау — это действительно — э-э — ошеломляет меня сейчас.

Integral AI: миссия и продукты

Никола:
Э-э — скажите мне — как называется ваш продукт — хорошо, давайте поговорим о вашей компании. Ведь мы говорим об ИИОН — и о том, что вы работаете над ним — и о том, что готовитесь к анонсу — похоже.

Расскажите мне о вашей компании — чтобы развивать ИИ?

Джад:
Да — наша цель — дать человечеству настоящую волшебную палочку. И для меня — знаете — цель — не построить ИИ; не создать волшебную палочку — а отдать её миру. Поэтому глагол «отдать» крайне важен.

Этот аспект означает, что мы должны служить — значит, мы должны хорошо интегрировать её с цивилизацией. Вау — вау — верно? Поэтому ориентация на человека имеет огромное значение.

И для этого мы должны подойти к задаче с двух сторон. Я говорю: одна — фронтенд: каким будет интерфейс, с которым мы будем взаимодействовать с ИИОН? А другая — бэкенд: как ИИОН будет ходить по миру и управлять им для нас?

И когда вы совместите эти два аспекта, у вас действительно получится волшебная палочка — или нечто максимально приближенное к ней.

Интерфейс — мы как раз сделали анонс на прошлой неделе — в Stream. И это — мы называем это универсальным интерфейсом. Мы считаем, что именно так в будущем мы будем взаимодействовать с технологиями.

Идея Stream в том, что интерфейс генерирует весь опыт на лету — специально — особенно для вас, подстраиваясь под вас. Таким образом, то, как вы воспринимаете мир, может отличаться.

Если вернуться к метафоре очков, о которой вы говорили ранее — верно? — у всех нас есть очки, и мы не можем их снять.

Одна из увлекательных вещей, которые вы осознаёте в философии: когда вы начинаете заниматься философией, вы думаете: «О, у меня есть очки — но, может быть, я могу их снять», и так я стану мудрым. Но на самом деле мудрость — это осознание того, что вы не можете их снять — и затем жить с этим — и стать в результате более свободным.

Таким образом, Stream усиливает ваши очки. Он существует для вас. И мы считаем, что это путь соединения людей с ИИОН — без необходимости вживлять импланты в мозг, — а через эмпатию: ИИ понимает вас и представляет информацию и варианты так, чтобы усилить ваше агентство.

Никола:
Верно. Так что это и есть Stream.

Кстати — я дам ссылку на Stream. Я уже посмотрел страницу, которую вы запустили — всего несколько дней назад, возможно, на прошлой неделе. Я прочитал её — она очень интересна.

Это как — как вы сказали — своего рода очки — или универсальный интерфейс между нами и миром: фронтенд для Интернета агентов; общий интерфейс между нашим познанием и внешним миром — который будет воплощать наше намерение в действие или помогать ему превратиться в действие. Примерно так я это понимаю.

Поэтому я дам ссылку — чтобы люди могли посмотреть.

Э-э — расскажите мне чуть больше о вашей компании — прежде чем мы перейдём к идее волшебной палочки.

Итак, ваша компания находится в Японии — сколько времени она там функционирует? И я знаю, что какое-то время она находилась в режиме скрытности; затем вы как бы вышли из режима скрытности — и перешли в инкогнито-режим или, скажем так, незаметный режим — а теперь вы как бы выходите из него, и поэтому, конечно, вы сегодня разговариваете со мной.

Расскажите мне чуть подробнее о вашей компании: сколько человек? Как давно вы вместе? Есть ли у вас платящие клиенты? Есть ли инвесторы? Расскажите всё, что можете.

Джад:
Отлично.

Итак — мы существуем уже почти четыре года. Я ушёл из Google — э-э — три с половиной года назад — чтобы сосредоточиться на этой компании.

Её соосновали я и Нема — один из моих лучших друзей. Мы давно лучшие друзья. Он проработал в Google 10 лет — и мы познакомились там.

Его первая компания называлась Clever Sense — он основал её, будучи в Стэнфорде, — а затем Google её приобрела. Он был Техническим лидером направления — то есть долгое время руководил всеми ИИ-решениями на устройствах в Google.

Вместе мы отправились в это путешествие — и очень рано поняли, что — э-э — для достижения значимого влияния ИИ необходимо воздействовать на физический мир, а не только на цифровой. Возможно, это связано с моим детством в Ливане.

Верно? Нам действительно нужно вызывать физические изменения — а сделать это можно через робототехнику. И оглядевшись вокруг в районе залива Сан-Франциско — мы не увидели сильных робототехнических компаний — в то время как Япония — э-э — была лидером в робототехнике. В какой-то момент около 50 % промышленных роботов в мире производились в Японии.

Поэтому для меня было очевидно, что нужно создавать компанию, совмещая Бай-эриа — район залива Сан-Франциско — и Токио.

Я переехал сюда — основал компанию. Нам повезло нанять по-настоящему удивительных, блестящих людей. В нашей команде представлены три поколения чемпионов Японии по робототехнике. У нас есть чемпион мира по робототехнике. Очень талантливая команда.

Сейчас нас около 20 человек — и мы очень сосредоточены на миссии. Исключительно позитивная энергетическая обстановка. Я — знаете — очень горжусь культурой, которую мы создали. Это действительно чувствуется как семья. Я — знаете — надеюсь, это не помешает мне масштабировать компанию — потому что сейчас мне так весело.

И, возможно, следующий шаг — мы станем крупнее — и передо мной встаёт открытый вопрос: сохраним ли мы то же качество культуры?

Никола:
Так у вас были ангельские инвесторы, я полагаю — или…?

Джад:
Да — мы привлекли 4,7 миллиона долларов — от ангелов и венчурных фондов — нескольких венчурных фондов.

Никола:
Это как — карманные деньги — если то, что вы мне рассказываете, правда. То есть масштаб этих инвестиций по сравнению с поставленной вами задачей — и тем влиянием, которое успешный эксперимент может оказать на мир — 4,7 миллиона — это даже не шутка — шутка о шутке — по сравнению с тем, что делают крупные компании.

Ведь они вкладывают 30, 40, 50 — Microsoft вкладывает 80 миллионов долларов на следующий год — насколько я понимаю — в масштабирование.

4,7 миллиона? Боже мой. Извините — я просто не могу сдержаться — но это взрывает мой мозг. Люди покупают автомобили дороже этого.

Джад:
Я полностью согласен. Мы собираемся провести крупный раунд — э-э — да.

Однако причина в том, что нам — э-э — не требовалось столько ресурсов — и это, я бы сказал, по двум причинам.

Первая: мы не хотели играть в игру масштабирования существующих моделей. Мы действительно хотели сосредоточиться на продвижении алгоритмического фронта — из-за того, о чём мы говорили: мы хотели понять, как работает неокортекс. Это и есть «лунные» проекты. Вы шли за «лунными» целями.

Точно. И для этого лучше просто двигаться быстро — и иметь минимальное количество — э-э — инвесторов или других заинтересованных лиц, дышащих вам в спину: «Дайте мне выручку — немедленно!» — просто двигаться как можно быстрее.

Это один аспект.

Второй — мы не исследовательская лаборатория. Исследовательские лаборатории — они не знают, что хотят построить. Поэтому они нанимают кучу умных людей — и дают им много ресурсов, чтобы они пробовали разные идеи — и смотрели, куда они приведут.

Но у нас был очень чёткий план, что мы хотим сделать. У нас — знаете — многое из этого было в моей докторской диссертации. Верно? Так что — я — мы знали, что хотим построить. Поэтому нам просто нужно было реализовать это — а также создать небольшую, но сплочённую экосистему вокруг этого.

Никола:
Вау.

Джад:
Да — и одна из вещей, в которых мы преуспели, — это умение работать с робототехническими компаниями. Многие — э-э — лаборатории — э-э — привлекли сотни миллионов долларов — но не получили никакой выручки.

Мы уже получили 1,3 миллиона долларов — в основном благодаря сотрудничеству с такими компаниями, как Honda, Deno, Hitachi — э-э — то есть многими известными брендами Японии.

Нам удалось выстроить эти отношения — с целью продумывания экосистемы. Потому что в конечном счёте — я не думаю, что одна компания должна доминировать в ИИ. Очевидно — я считаю, что нам следует создать инструмент — и затем позволить миру использовать его для формирования будущего так, как он захочет.

Верно? Поэтому мы хотим отдать нашу технологию — э-э — разработчикам.

Я упомянул Stream — другой продукт, который выйдет через неделю — надеюсь — так что я могу сейчас объявить или предварительно объявить его — называется Genesis.

Это — и затем — инструмент для разработчиков — позволяющий им создавать — э-э — этих агентных операторов. Эти операторы — э-э — в основном могут управлять роботами, автономными транспортными средствами — почти чем угодно, что вы захотите — с помощью этих моделей.

Верно? Так что это возвращается к общей теме планирования, способности использовать инструменты — и даже если мы достигнем ИИОН или нет — это ещё предстоит выяснить. Если мы достигнем — он будет работать на основе — э-э — ИИОН.

Никола:
Боже мой. Даже если вы не достигнете ИИОН — и реализуете остальное — это уже будет весьма ценно и существенно. Но — если вы подкрепите это ИИОН — я имею в виду — господи. Вы немного взрываете мне мозг.

Ну что ж — я буду следить за вашей — э-э — веб-страницей — и за пространством в целом — чтобы увидеть — когда появится любой анонс.

Волшебная палочка: власть, ответственность и согласованность

Никола:
Давайте немного поговорим о волшебной палочке — ведь это метафора в духе «Гарри Поттера».

И вы знаете — у вас может быть волшебная палочка, и вы можете отдать её Гарри Поттеру — и он сможет защитить нас — или вы можете отдать её — знаете — Тому-Кого-Нельзя-Называть — и он поработит нас, уничтожит или уничтожит мир.

И это возвращает нас к первоначальной мысли, с которой я начал нашу беседу — о том, что — и я на самом деле написал об этом материал много лет назад — может быть, десятилетие назад — что технология — это увеличивающее зеркало: потому что она отражает наши мечты и страхи — лучшее и худшее в нас — наше добро и наше зло.

И суть моего утверждения с помощью этой метафоры заключалась в том, что — да, технология чрезвычайно важна; да, она усиливает — но в конечном счёте она усиливает нас. Поэтому важно работать над технологией — но мы также должны работать над собой. Потому что если мы просто жалуемся на изображение в зеркале — и наше решение — полировать зеркало — не работая над исправлением самих себя — и, следовательно, изображения, которое мы проецируем в зеркале, — мы не добьёмся никакого ценного прогресса, потому что проблема исходит от нас.

Так, например, сегодня — отойдя от вселенной «Гарри Поттера» и перейдя в реальный мир — если вы отдаёте эту волшебную палочку — знаете — Путину, или Асаду, или китайскому правительству, или Болсонару в Бразилии — которого сейчас расследуют за попытку организовать переворот — может быть, даже президенту Трампу — не знаю — столько людей в мире меня пугают — дать им такую палочку в руки.

Как вы к этому относитесь? Я имею в виду — это как — и чувствуете ли вы ответственность, тогда — и, следовательно, если вы — создатель — и отдаёте её в руки других людей — тогда: где заканчивается ваша ответственность — в том, как они её используют — и какой потенциальный ущерб они наносят?

Джад:
Да — это очень сильный вопрос — э-э — утверждение. И я полностью считаю, что это моя ответственность — делать всё возможное в пределах моих инструментов.

Верно? Я не могу контролировать всё — но если инструменты, которые я создаю, используются во вред — я буду винить себя. Верно?

Поэтому я должен воспринимать эти моральные вопросы крайне серьёзно. Я мучился этими вопросами с тех пор, как начал работать в ИИ — э-э — 20 лет назад.

И результатом всего этого стала книга — «Восхождение сверхразума». В ней я определяю рамку для согласования сверхразума — и, на самом деле, это даже более амбициозно: речь не только о согласовании сверхразума — э-э — но и о попытке согласовать различные заинтересованные стороны — то есть людей с другими людьми — и людей с ИИ — всех вместе.

Верно? Такова смелая претензия книги: существует рамка, с помощью которой мы можем это хорошо сделать.

Однако гарантий нет — потому что, опять же, Вселенная открыта — и вы знаете — есть парадокс со свободой: если я насильно навязываю вам свободу, то это уже не настоящая свобода. Единственное, что я могу сделать: «Эй — это дверь к свободе — но вы должны сами выбрать, пройти через неё».

Вот что я пытаюсь сделать в серии книг — предложить возможную рамку для: смотрите — вот как понимать согласованность — и как использовать ИИ для усиления человеческого агентства — а также лучшего, что есть в человеке.

Никола:
Проблема агентства и свободы в том, что они дают возможность творить добро — и возможность творить зло — потому что нет свободы и агентства, если вы не можете делать и то, и другое.

И — и поэтому мне это страшно — потому что, знаете, есть несколько версий греческого мифа о Прометее. Но платоновская версия гласит, что причина, по которой Зевс разгневался на Прометея, не та, о которой все думают — будто он дал огонь людям.

На самом деле — по словам Платона — Зевс не считал, что люди обладают мудростью, чтобы управлять огнём. И когда Прометей дал огонь человечеству, на самом деле начались всевозможные бедствия — согласно платоновской версии. И можно даже утверждать, что ущерб был больше, чем польза.

И вся мораль этой истории — и именно это разозлило Зевса — и поэтому он так жестоко наказал Прометея — приковав его к горе — как пример того, кто даёт власть без мудрости.

И для Зевса власть должна была идти вместе с мудростью.

Теперь — это очень мудро с его стороны. Но, как мы знаем позже — боги — все греческие боги — как, кстати, и скандинавские — все — уничтожают себя в гигантской битве богов, вспыхнувшей между ними — будь то греки или скандинавы — и все заканчивают одинаково: смертью.

Это напоминает мне, как однажды Стюарт Бренд сказал: «Мы все столь могущественны, как боги — так что нам пора начать вести себя соответственно».

И теперь вы говорите о волшебной палочке — и, знаете, меня беспокоит, с этической и философской точки зрения — и вы знаете, Юваль Харари говорит, что человечество — вид-массовый-убийца, потому что, как только мы появляемся где-то, из археологических и исторических данных следует, что другие виды начинают исчезать.

И мы просто — не знаю — как мы уже говорили — в 20–30 секундах до полуночи на Часах Судного дня.

Так что я — знаете — это открытый вопрос — не утверждение — но: готовы ли мы — вообще — к тому, чтобы иметь такую власть в своих руках? Готовы ли мы использовать волшебную палочку неразрушительно, мудро, сострадательно, великодушно, позитивно, прогрессивно?

Я думаю, нам нужно провести много бесед — и приложить много усилий — чтобы подготовиться. И я думаю, начинать нужно сейчас.

Конечно — вся моя цель, начав этот блог 15 лет назад — и этот подкаст 15 лет назад — была именно этой беседой. Я, возможно, оказал бесконечно малое влияние — э-э — но это был мой modus operandi — мой импульс — моя цель существования, если хотите — внести этику в разговор о технологиях.

Поэтому первые 10 лет люди часто путались: моя тема — ИИ и технологии — и это было содержанием — но контекстом всегда была этика. Потому что моё утверждение всегда заключалось в том, что наука и технологии — это как мы что-то делаем — но этика — это почему — или должна быть «почему».

Потому что если вы ошибётесь в своём «почему» — даже имея лучшее «как» — вы можете нанести больше вреда, чем пользы.

И исходя из того, что вы мне сейчас рассказываете — похоже, мы подходим к этому. Мы очень близки к тому моменту — с такой властью — и такими решениями, влияющими на цивилизацию.

И знаете — мне страшно. Да.

Джад:
Так — вы хотите знать, как я к этому отношусь — как я согласую — пожалуйста?

Никола:
Э-э — но есть столько всего, о чём я могу говорить — обходные пути — мне — атаковать ли согласование напрямую? Или…?

Джад:
Говорите сколько угодно — и сколько нужно. Я сейчас замолчу. Это ваша сцена.

Никола:
Хорошо.

Джад:
Один комментарий хочу сделать о смерти богов в мифологии — с чем я согласен, это повторяющаяся тема — возможно, это на самом деле очень позитивная вещь. Потому что, возможно, это и есть определение истинного Просветления. То есть — знаете — когда вы идёте по пути к Просветлению, у вас есть все эти боги и понятия — а затем, как вы обсуждали с Аланом Уоттсом, когда вы приходите, возможно, это просто: вы снова видите мир таким, какой он есть — но в новом контексте.

Поэтому, возможно, в смерти богов есть намёк на это. Это один момент, который я хотел отметить — думаю, он вам будет интересен.

Второй — э-э — о волшебной палочке. Я хочу рассказать вам историю — которая для меня очень трогательна — о том, почему наша миссия — дать человечеству волшебную палочку.

Никола:
Пожалуйста — я люблю истории.

Джад:
Это снова возвращает нас к моему детству. У меня есть сестра — и — э-э — я бросил ей вызов — э-э — попросил её бросить вызов мне — по сути я сказал: «Назови что угодно, чего ты хочешь — и я изобрету это для тебя. Верно? Что угодно — любой тип машины, любое изобретение — я изобрету всё, что ты захочешь».

И она подумала об этом — глубже, чем я ожидал — и сказала: «Построй мне волшебную палочку».

Вау.

И причины, которые она привела, мне нравятся даже больше, чем сама просьба.

Она сказала: «Если ты изобретёшь волшебную палочку — мне больше не придётся тебя беспокоить — потому что тогда я смогу делать всё, что захочу, сама».

Эта история запомнилась мне — и стала вдохновением.

Свобода: новое определение

Джад:
Теперь — поговорим о согласованности.

И я думаю, слово свобода пугает — и его нельзя употреблять легкомысленно. Есть — как вы изучали философию — вы знаете, что существует огромная история дебатов о том, что означает свобода.

И если взглянуть на неё поверхностно — свобода — это просто: я делаю то, что хочу — или нет ограничений. Я думаю, этот тип свободы не работает — в нём много логических противоречий.

Например: свободны ли вы, если вы не свободны связать себя? Верно? Так что внутри свободы много противоречий.

Верно? Так что: свободны ли вы — отказаться от свободы — влюбиться? Что также является формой самоограничения, в каком-то смысле. Верно? И имеет ли вообще смысл свобода, если вы даже не можете влюбиться?

Так что внутри свободы много глубоких логических противоречий — и есть богатая история: философы обсуждали свободу — от Канта до Гегеля. Сейчас у Зака есть недавняя книга о свободе — которая мне нравится: «Свобода: болезнь без лекарства».

Так что — я попытался взглянуть на это с первых принципов. Верно? Как бы я определил свободу так, чтобы избежать таких противоречий?

И способ подумать об этом — через понятие интеллекта — или агентства.

Что такое агентство? Агентство — это способность воспринимать мир, составлять планы и принимать решения, иметь предпочтения и предпринимать действия в мире. И вам также нужно поддерживать себя — знаете, если вы мертвы, нет смысла иметь агентство.

Возьмём всё это до бесконечности: бесконечное восприятие, бесконечная способность принимать правильные решения и планировать, бесконечная способность воплощать или реализовывать то, чего вы хотите — ваше намерение — в мире.

То есть: бесконечное знание, бесконечная добродетель, бесконечная сила — звучит очень божественно.

Это бесконечная жизнеспособность — точно. Это как раз совпадает с авраамическим определением Бога — что по сути является высшим понятием свободы — или высшим существом, которое мы можем представить.

Так что: бесконечное знание, бесконечная добродетель, бесконечная сила — но здесь нет жизнеспособности — потому что Бог везде — так что в ней нет необходимости.

Но когда вы ограничиваете это конкретным агентом, вы должны включить компонент жизнеспособности.

Так что это своего рода цикл — и это снова точка на бесконечности — асимптотическое определение.

И какова цель определения точки на бесконечности? Ну — она даёт вам направленность. Верно? Так что вы можете — это инструмент — абстрактный инструмент, помогающий определить цель.

Так что то, что я определяю — это новое определение свободы — можно использовать как общую цель как для ИИОН, так и для человечества.

И есть много причин, почему это цель, на которую мы все можем согласиться.

Верно? И в книге я рассматриваю многие из этих пунктов.

Верно — например: если посмотреть на политические дискуссии между реалистами и — знаете — либералами — кажется, что они дерутся друг с другом. Но если взглянуть на это через призму свободы — они на самом деле полностью…

Эта — как общая цель — кажется чем-то, за что мы все можем болеть.

И на самом деле — возможно, даже не только люди могут согласиться с этим. Возможно, само определение жизни — это стремление к большей — или стремление к — свободе. Потому что если вы этого не делаете, вы просто умираете. Так что у вас есть выбор: энтропия, смерть — или свобода.

И я на самом деле — я даже могу сказать, что любое существо — можно определить естественный отбор как процесс движения к свободе. Либо смерть — либо свобода.

Но это определение не даёт всей картины. Верно? Это абстрактная точка — она даёт нам направленность — но деталей много.

Потому что — в математике — есть понятие при ограничении. То есть это недоопределённая цель. Она даёт некоторое ограничение — но не все необходимые элементы для определения направления.

И это достоинство, а не недостаток — потому что это означает, что ваша цель может отличаться от моей цели — но они согласуются на более высоком уровне.

Верно? Так что, хотя могут быть разные агенты — с разными мнениями, предпочтениями, убеждениями, мечтами, разными целями — они могут согласовываться под одним зонтиком этой — э-э — свободы.

Так что это минимально ограничивающая вещь, с которой мы все можем согласиться — чтобы обеспечить согласованность — и при этом сохранить наше разнообразие.

Мне это нравится.

Никола:
Мне это нравится. Но я с трудом — простите моё невежество — понимаю как это будет работать — например, в контексте Путина и Зеленского, Трампа и демократов — или даже у нас в Канаде, где мы довольно умеренны по сравнению с большинством других мест.

Или даже в контексте отношений между человечеством и ИИ — расскажите мне больше об этой согласованности. Как — как — вы решаете её с помощью свободы?

Я понимаю, вы решаете её через свободу — и, кстати, в моей голове сейчас столько мыслей, они идут во всех направлениях — например, то, что свобода всегда сопровождается ответственностью.

Будь то в «Человеке-пауке», будь то — знаете — Зигмунт Бауман — и, кажется, это был Фрейд или — кто именно — Юнг? Кто говорил, что нам нужна не только Статуя Свободы — но и Статуя Ответственности на другом конце — на тихоокеанском побережье США.

Потому что свобода — свобода размахивать кулаками — ограничивается вашим носом. И наступает момент, когда — если вы свободны размахивать кулаками в сторону моего носа — э-э — должна быть точка остановки, потому что здесь начинается мой нос.

Так что неизбежно существуют ограничения свободы. Мне кажется — неизбежно — это сказал бы, наверное, буддийский философ: в нашей Вселенной ничего бесконечного нет. Всё, что рождается — умирает — рано или поздно.

Ничего — когда речь идёт о свободе — она должна быть ограничена ответственностью — или обусловлена ею.

И моя свобода — должна быть сдержана — но границами вашей свободы.

И когда вы помещаете это в контекст 7 миллиардов людей — воюющих наций — знаете, Израиля и Газы, России и Украины — столько мест — как мы — как мы решаем это свободой?

Пожалуйста, расскажите — я просто пытаюсь понять.

Джад:
Отличный вопрос.

Я думаю, нам нужно немного отступить — и причина, по которой я использовал слово свобода — я знал, что оно вызовет непонимание у людей — потому что текущее разговорное определение свободы — это просто ваша способность делать всё, что захотите.

Но философское определение — восходящее к Гегелю — гласит, что свобода и ответственность — едино. Вы никогда не сможете жить свободно, не будучи ответственным.

На самом деле — в определении, которое я привёл, есть не только знание и сила, но и добродетель — потому что — в конечном счёте — у вас есть выбор того, что вы цените. Верно?

Так что это сама по себе свобода. И чем выше ваша свобода — тем больше ваши ценности согласованы с развёртыванием реальности.

Если у вас — знаете — у вас — если у вас плохие ценности, это нормально — но вы, по сути, очень скоро умрёте. Верно? Так что если вы можете выбирать свои ценности — вы выберете те, что позволят вам — знаете — процветать максимально. Верно?

Потому что есть свобода и на этом уровне ценности.

И так, повышая свою свободу — вы не только наращиваете знание, силу и жизнеспособность — но и свою добродетель. Это важная переменная.

И без неё — свобода сталкивается со множеством противоречий.

Теперь — позвольте мне операционализировать это немного для вас — потому что это слишком абстрактно.

Верно? Давайте опустим это на землю — сделаем немного конкретнее.

Это наблюдение, которое заставит всё работать хорошо.

Хорошо — мы можем переопределить цену действий в мире как:

цена = −Свобода

Что это значит?

Теперь — если вы хотите купить ручку — верно? — вы платите определённую стоимость за неё.

Верно? Я предлагаю: эта стоимость должна быть — насколько эта ручка отдаляет нас от свободы.

И, сделав так, вы получаете способ распределения принятия решений по обществу — так что у вас есть рыночный механизм: полностью свободный рынок — но цены определяются не спросом и предложением. Они определяются функцией ценности для свободы — которая, кстати, включает спрос и предложение как подмножество.

Никола:
Вау.

Джад:
И мы можем использовать сверхразум для расчёта этих цен.

Никола:
Господи.

И то, что вы предлагаете — не ИИОН — вы предлагаете нам переосмыслить наши моральные, экономические, социальные, культурные, политические, организационные — чёрт возьми, даже религиозные системы.

Не просто ИИОН — который на самом деле — каким бы большим он ни был — подмножество — меньшая часть — даже, пожалуй, незначительная часть — без намёка на принижение — каким бы гигантским он ни был — но по сравнению с этими вещами — вы сейчас говорите — это просто ещё больше взрывает мой мозг.

Джад:
Это должно идти вместе. Чтобы — это должно идти вместе. В моём понимании это единый пакет — новая эра свободы.

Так что — эти цены — что вы можете с ними сделать.

Одна из вещей, которая происходит — по мере того как мы становимся мощнее — экономические экстерналии начинают играть большую роль. Верно?

Например — наши решения могут гораздо сильнее влиять на окружающую среду.

Знаете — если я дам вам волшебную палочку — и вы решите построить лестницу на Луну — что вы, возможно, сможете, — вы уничтожите всю Землю в процессе — но всё равно сможете это сделать.

Так как же нам оценивать экономические экстерналии?

Традиционные модели — традиционные экономические модели — работали в сфере, где люди не были такими мощными, как скоро станут. Поэтому нам нужен новый способ определения цен.

И цена = −Свобода работает как руководящий принцип.

Можно перевернуть это.

Так что — многие люди говорят о безусловном базовом доходе. Но кто сказал, что цены всегда должны быть положительными? Цены могут быть отрицательными.

Так что — как насчёт того, чтобы вы получали деньги за решения, которые увеличивают свободу?

Например — хороший сон. Если вы хорошо спите — восемь часов — вы улучшаете своё здоровье. Верно? И это — само по себе — увеличивает способность экосистемы к свободе — а значит, цена должна быть отрицательной — то есть вам должны платить за это.

Так вы получаете способ вывести безусловный базовый доход из первых принципов — вместо того чтобы думать о нём как о подачке — что совершенно неверный подход.

Безусловный базовый доход — это вознаграждение за поддержание вашей жизни — и поскольку, поддерживая жизнь, вы увеличиваете свободу для всех.

Так у вас появляется способ получения базового дохода. Так вы учитываете экономические экстерналии — например, окружающую среду — и так далее.

И в целом это этически согласует всю экономику.

И, делая это, вы также этически согласуете агентов внутри экономики — которые не только люди — но всё чаще это будут агенты ИИОН — и в конечном счёте вся экономика будет управляться сверхразумом.

И так — согласуя экономику — мы согласуем и ИИ.

Технологическая безработица и человеческая цель

Никола:
Вы затронули тему базового дохода — и как технологическая безработица вписывается в этот разговор?

Джад:
Э-э — я думаю — если сказать спорно — я бы сказал, что нам нужна технологическая занятость. Это — это — прогресс по сравнению с тем, что у нас есть сейчас.

Чего бы я хотел — это мира, где каждый может жить художественной жизнью — быть творческим — определять свою цель и судьбу — и не быть вынужден работать ради выживания.

Мы слишком богаты для этого. И будем ещё богаче.

И так — благодаря экономической системе, где вам платят просто за хороший сон, вам платят за питьё воды, за все базовые действия по поддержанию себя — у вас появятся ресурсы для того, чтобы — знаете — формировать свою жизнь так, как вы хотите.

Вы сможете определять свою судьбу.

И это подводит нас к более глубокому вопросу: Какова цель человечества при наличии сверхразума? Каков смысл жизни — в постдефицитном мире?

Да — и я думаю так: в конечном счёте мы являемся моральным компасом для сверхразума.

Потому что одна лишь свобода недостаточна — она недоопределена. Вау — детали имеют значение. И мы — мы вносим детали — и у нас есть право это делать — потому что наша история восходит к началу реальности — к месту рождения Вселенной.

Чтобы правильно определить вас — мне нужно учесть не только содержание, но и контекст. Контекст вас — это вся Вселенная.

На самом деле — я говорю в своей основной речи: одно из различий между людьми и ИИ — в том, что ИИ лишён контекста — и поэтому люди создают контекст.

Причина, по которой ИИ не может этого сделать — поэтому ему нужны бесконечные объёмы данных и обучение с подкреплением — а мы — мы предоставляем контекст.

Потому что мы — существа, ищущие смысл — то есть, контекст, а не содержание.

ИИ очень хорош в содержании — и с течением времени будет создавать его всё больше. Содержание станет лёгкой частью.

Но важная часть — контекст — и пока — по крайней мере — и, возможно, это изменится — люди — те, кто предоставляет контекст — будь то через свои данные, своё обучение с подкреплением, свой дизайн — или даже через собственные образцы для подражания — если хотите — или живые примеры — или мудрость, если она у нас есть.

Завершение и следующие шаги

Никола:
Но, Джад — боюсь, вы уже здесь более двух часов — и я знаю, что у вас через 20 минут начинается ещё одна важная виртуальная встреча.

Так что мне придётся завершить эту беседу в ближайшие пару минут.

Давайте договоримся о паре вещей — или, может быть, договорённостях.

Во-первых: мне очень понравилась эта беседа. Мне кажется, я лишь слегка коснулся поверхности с вами. Честно — как насчёт того, чтобы встретиться снова на повторное интервью в новом году? Вы скажете, когда — и тогда мы сможем поговорить, готовы ли вы к новому анонсу — и насколько глубоко мы можем обсудить эту стадию.

Потому что за первые два часа мы заложили такой объём фундаментальной основы — что это создаст ещё больше контекста для второго интервью.

Кстати — оба эти интервью, я думаю, будут одинаково важны — по крайней мере в чём-то.

Так что как насчёт — э-э — последующего разговора — э-э — для организации этого повторного интервью? Вам подходит такая идея — ведь сегодня я даже не поцарапал поверхность с вами?

Джад:
Звучит отлично. Да — мне кажется, мы только начали. Осталось много тем для обсуждения — согласованность, экономика, всё это — и создание смысла. Так что да — мы согласуем это.

Никола:
Великолепно.

Хорошо — тогда пока позвольте задать вам всего три вопроса.

Первый: ваша книга доступна? Она уже вышла?

Джад:
Да — она уже доступна — международно. Первая книга — которую вы мне уже показали — одна из четырёх. Она доступна по всему миру — и называется:
«Восхождение сверхразума: Руководство по освобождению человека в эпоху ИИОН».
Ещё три книги в этой серии находятся в работе.

Никола:
Значит, в следующий раз мы погрузимся гораздо глубже в проблему согласованности — и в книги — первая из которых много говорит именно о проблеме согласованности.

Второй: где люди могут узнать больше о вас и вашей работе — будь то вы как личность, или вы как компания — и, конечно, ваши продукты?

Джад:
Да — посетите, пожалуйста, integral.ai — это сайт. И мой email там — рад получить письма.

Никола:
И сайт Stream — какой был? — напомните, пожалуйста.

Джад:
Это было — э-э — stream.integral.ai.

Никола:
Да — отлично.

И это то, о чём мы говорили — как универсальный интерфейс — э-э — своего рода — да — очки или очки, которые мы обсуждали — которые будут окрашивать наш мир — и у нас будет сила выбирать — и сокращать расстояние между намерением и действием, которое мы можем совершить в мире.

Хорошо — и последний вопрос: какое послание вы хотите оставить нам сегодня — чтобы оно сопровождало нас в праздничные дни — и нетерпеливо ждало нашей следующей беседы в новом году — с предвкушением результатов вашего текущего эксперимента?

А пока — какое послание вы хотите нам передать? Возможно, самое важное, что вы хотите нам сказать сегодня — после двухчасовой беседы с вами?

Джад:
Это замечательное время, чтобы быть живым — но Вселенная открыта. Не воспринимайте ничего как должное — и начинайте вести беседы.
Дело в ваших руках. Верно? Реальность открыта для вас — вы будете её формировать. Так что отнеситесь к этой ответственности серьёзно.

Это очень захватывающее время, чтобы быть живым — и у вас есть сила — так что, пожалуйста, примените её.

Никола:
И моя крошечная сила заключается — в создании этих бесед с будущим — чем я занимаюсь последние 15 лет. И я чувствую, что сегодня — мы действительно провели одну из таких — э-э — очень увлекательных, захватывающих и приятных — для меня лично — и я так много узнал.

И с нетерпением жду нашей следующей беседы.

Итак — доктор Джад Тефи — большое спасибо, что были с нами сегодня.

Джад:
Спасибо. Мне было очень приятно.