Интервью 2 - Джад Террифи - CEO и сооснователь компании Integral AI, бывший работник Google
Компания недавно объявила об изобретении AGI.
Новое интервью - декабрь 2025
Перед прочтением рекомендуется сначала прочитать первое интервью за декабрь 2024 https://rentry.org/jadtefiinterview1rus
Там много дополнительной информации.
Singularity FM – Эпизод с доктором Джадом Террифи
Ведущий: Никола | Гость: доктор Джад Террифи, генеральный директор и соучредитель Integral AI
Вступление и контекст
Никола:
Singularity. Меня зовут Никола, и вы смотрите Singularity FM — место, где мы интервьюируем будущее.
Если вам понравился этот подкаст, пожалуйста, поддержите нас — оставьте отзыв в iTunes или станьте патроном на сайте interviewthefuture.com.
Мой сегодняшний гость — доктор Джад Террифи, генеральный директор и соучредитель компании Integral AI. Джад разрабатывает масштабируемый и энергоэффективный ИОИ (искусственный общий интеллект), чтобы приблизить человечество к сверхразуму.
До основания Integral AI он почти десять лет проработал в Google AI, где создал и возглавил первую в мире команду по генеративному ИИ. Джад имеет докторскую степень в области ИИ и степень магистра наук в области квантовых вычислений, а также является автором получившей высокую оценку серии книг «Свобода» — четырёхтомного исследования ИОИ, человеческого потенциала и процветания в мире, сформированном сверхразумом.
Это уже вторая наша беседа с Джадом, и если вы ещё не смотрели наше первое интервью, настоятельно рекомендую начать с него — оно даёт большую часть личного, профессионального и теоретического контекста для сегодняшней дискуссии между мной и Джадом.
Итак — добро пожаловать снова на Singularity FM, Джад.
Джад:
Спасибо, что пригласили. Прошло уже немало времени.
Никола:
Прекрасно. Прошёл примерно год, и за это время произошло многое — а кое-что так и не случилось.
Поэтому давайте сразу погрузимся в самую суть, ведь я знаю, что вы заняты — после нашего интервью у вас ещё одна встреча, на которую нужно успеть.
Намёк на анонс
Никола:
Давайте сразу перейдём к самому интересному с цитаты из нашего предыдущего интервью. Вот она:
«Современные трансформерные модели, такие как ChatGPT — даже с добавлением рассуждений, как в o1 — не соответствуют критериям ИОИ. Следите за анонсом, который наша компания опубликует в ближайшее время».
Не пропустил ли я ваш анонс?
Джад:
Анонс состоится в следующий понедельник. Мы, наконец, готовы к нему. Потребовалось время, чтобы всё подтвердить и доработать.
Никола:
Это замечательно. У меня сегодня во вторник, в Торонто, а у вас, как я понимаю, уже среда утром — в Токио, Япония.
Джад:
Да.
Никола:
Значит — примерно через четыре дня вы собираетесь сделать анонс. У нас сейчас два варианта действий. Обычно мне требуется три-четыре дня, чтобы смонтировать эпизод.
Поэтому можно просто продолжить, и вы можете считать это интервью частью вашего анонса — тогда я опубликую его в понедельник утром.
Или мы можем продолжить сейчас, как планировали — и тогда я, вероятно, опубликую интервью за пару дней до вашего анонса.
Как вам удобнее поступить?
Джад:
Нет, давайте выберем первый вариант.
Никола:
Первый вариант. Хорошо. Значит, сегодня у нас состоится — и спасибо вам за щедрость — полностью открытая беседа, и мы как бы переносимся вперёд во времени, ровно на четыре дня — то есть на следующий понедельник, 8 декабря 2025 года.
Так вот — оставит ли этот день след в нашем будущем — в календаре нашей цивилизации?
Джад:
Ну, каждый день оставляет след. Вопрос в том — станет ли этот день тем моментом, который люди заметят? Что ж, я надеюсь на это — но не могу гарантировать. Вы можете оказаться правы, но немного опередить события.
Итак, мы собираемся анонсировать некоторые прорывы, которые, по нашему мнению, открывают путь к ИОИ.
Дату, которую запомнят большинство людей, станет та, когда большинство людей осознают это — а не когда об этом впервые объявят. Посмотрим. Это открытый вопрос.
Никола:
Хорошо. Значит, вы буквально свели на нет всю мою заранее подготовленную структуру интервью.
Свободная, глубокая дискуссия начинается
Никола:
Значит, дальше будем общаться свободно — ведь мы уже «в понедельник», в будущем.
Расскажите подробнее. Дайте мне суть дела.
В чём состоит прорыв? В чём главная новость, ради которой мы ждали целый год с нашей предыдущей беседы в декабре 2024 года?
Джад:
Да. Современная парадигма в крупных языковых моделях (LLM) основана целиком на масштабировании — как на этапе предварительного обучения, так и после него. Но это означает, что такие модели требуют огромных вычислительных ресурсов для развёртывания и приобретения навыков.
Нам нужен переход к миру, где фокус смещается не на тесты — например, «достиг ли ты определённого результата в тесте», независимо от затраченных ресурсов — а на парадигму, где мы оптимизируем само обучение.
То есть: насколько эффективно и надёжно вы можете изучать новые навыки?
Это означает модели, способные непрерывно обучаться в процессе работы — и не только этого, но, возможно, даже создавать собственные обучающие данные и подавать их обратно себе.
Создание собственных обучающих данных можно осуществлять следующим образом:
- предпринимая действия в физическом мире,
- или задавая правильные вопросы — с хирургической точностью — как вы, кстати, делаете как ведущий подкаста: вы мастер наводящих вопросов.
Значит, нам нужны модели, способные делать это — взаимодействовать со средой и обучаться через взаимодействие. Мы называем это интерактивным обучением — новой парадигмой обучения, позволяющей моделям учиться в процессе работы, взаимодействуя с миром.
И не забудем — есть ещё одно условие:
Потребление энергии должно быть равным или меньшим, чем при обучении человека.
Да — и непрерывное обучение является частью секрета этого, верно? Потому что в современных моделях приходится либо переобучать всю систему с нуля, либо дообучать — и тогда вы теряете большую часть знаний, которые были до этого.
Поэтому непрерывное обучение критически важно для энергоэффективности.
Но также — сама архитектура должна быть переосмыслена: стать моделью мира, ориентированной на абстракцию в первую очередь, а не чисто предиктивной моделью мира.
Никола:
То есть вы говорите, что у вас есть архитектура, способная непрерывно обучаться — либо на основе опыта, либо через действия, либо через хирургически точные вопросы вроде тех, что задаю я — и всё это за стоимость энергии, эквивалентную одному ужину… как у меня перед этим интервью?
Джад:
Да. Именно это я и утверждаю.
Мы разделяем прорыв на три компонента.
Первый — архитектурный прорыв: переход от чисто предиктивных моделей к моделям абстракции и предсказания — то есть моделям, которые явно абстрагируют мир и затем предсказывают его — а не просто предсказывают.
Мы можем обсудить, почему это важно — и подробнее разобрать, почему многие учёные тоже пытаются этого добиться. Но считаем, что у нас правильный подход.
Это архитектурный прорыв.
Второй — прорыв в методе обучения: выход за рамки существующих подходов, которые можно классифицировать как обучение подражанием или обучение с подкреплением.
Новая парадигма обучения — это интерактивное обучение, обеспечивающее:
- эффективное планирование (чтобы хирургически точно предпринимать действия — физические или вербальные, например, задавать вопрос),
- обратную передачу результатов в модель,
- и применение прорыва в непрерывном обучении — чтобы модель могла самосовершенствоваться.
То есть — интерактивное обучение позволяет модели самосовершенствоваться.
Третий — прорыв в выравнивании (alignment) — то есть в том, как обеспечить безопасное функционирование таких моделей в мире.
Когда они предпринимают такие точные действия — чтобы не возникало непреднамеренных последствий. И чтобы безопасность гарантировалась по мере их масштабирования.
Никола:
Вау. Это ошеломляет.
Итак — резюмируя: все эти три прорыва — ведь в прошлый раз, во время нашей беседы, вы были первым собеседником, кто поставил перед ИОИ очень амбициозные и жёсткие требования: потреблять энергии не больше, чем человек.
Это очень амбициозно — и представляет собой огромнейшую разницу в эффективности по сравнению с тем, что мы наблюдаем сейчас: нынешние законы масштабирования обходятся нам не просто в сотни миллиардов, а в триллионы долларов.
Так вот — вы утверждаете, что достигли всех трёх целей при энергетических затратах, эквивалентных человеческим?
Джад:
Да.
Точнее: мы раскроем то, что называем моделью, способной к ИОИ — потому что ИОИ сам по себе — это свойство модели и её метода обучения. Это не конечная система.
Конечная система возникает, когда вы масштабируете её — через взаимодействие со средой, через накопленный опыт — и мы считаем, что это та самая модель, которую можно масштабировать до сверхразума.
Я думаю, это неудивительно — потому что как только у вас появляется правильная архитектура, отражающая работу неокортекса, мы должны суметь реализовать её гораздо эффективнее — ведь нам не нужно использовать крайне неэффективный химический процесс питания и поддержания тела.
Поэтому нет оснований думать, что, обладая правильными алгоритмами, мы будем тратить больше.
Для меня это было совершенно естественным ожиданием — и теперь мы считаем, что эти модели обладают правильным энергетическим профилем. Они готовы к использованию в реальных задачах. Они готовы к масштабированию — и мы сможем наблюдать, как они достигают возможностей сверхразума.
Никола:
Вау. Ладно. Как я уже сказал, вы полностью нарушили всю мою заранее продуманную структуру. Давайте разберём всё по шагам.
Прорыв №1: архитектура — от предсказания к абстракции
Никола:
Давайте разделим всё на три компонента — и поговорим о конкретных деталях.
Первый — архитектура: переход от предсказания к абстракции.
Расскажите подробнее, чем она отличается от современных моделей вроде GPT — ведь кто-то скажет:
«Ну, у них есть предсказание, и, конечно, есть немного абстракции — не полной, но определённой степени — например, некоторое понимание кота или собаки, когда их просят идентифицировать изображение. Так что они всё-таки абстрагируют — пусть и немного».
Чем ваша архитектура отличается?
Джад:
Отличный вопрос. На самом деле существует спектр между запоминанием и абстрагированием. И по этому спектру LLM находятся не на полюсе чистого запоминания.
Если бы это было так, они не могли бы адаптироваться ни к чему — просто воспроизводили бы обучающие данные.
LLM действительно абстрагируют — но их механизм абстрагирования слаб.
Чтобы это понять, приведу очень простую аналогию, близкую многим.
Есть много студентов, которые перед экзаменом учатся в последний момент — и идут на экзамен, возможно, справляются — а через пару недель полностью забывают материал.
Такое зазубривание — когда цель — лишь сдать тест — именно так обучаются LLM.
Такой студент не уверен: он понял или просто запомнил? Некоторое понимание есть — но оно довольно смутное.
А вот на другом конце спектра — когда фокус на абстракции — вы пытаетесь глубоко сжать данные.
Это студент, который долго думал над задачей — возможно, в душе… возможно, ему даже снилось решение.
Если с ним поговорить, видно: он сжал проблему. Он может говорить о ней очень элегантно — используя совсем немного слов — но при этом проникает в самую суть.
Это и есть сжатие. И такой студенту ничего не нужно запоминать — потому что через 10 лет вы можете спросить его — и он выведет всё заново, с нуля.
Итак — винить LLM не стоит, потому что мы просим их запоминать. Мы просим их просто сдать экзамен. Мы не просим их сжимать. Мы не просим их сознательно сжимать.
Наша модель действительно должна одновременно сжимать и предсказывать.
Никола:
Кстати, вы напомнили мне о моём времени в университете, когда меня по-настоящему выводило из себя, когда некоторые коллеги или друзья подходили к профессору и спрашивали:
«Это будет на экзамене?»
И я думал: «О боже, это сводит меня с ума! Кого волнует, что будет на экзамене? Вы здесь, чтобы сдать тесты — или чтобы получить знания? Мне плевать на экзамен. Я просто хочу получить знания. Я хочу стать лучше. Я хочу развиваться».
Иногда это шло в ущерб моему вниманию к тому, что будет на экзамене — но в целом, я считаю, это помогло мне стать лучше как человеку.
Возможно, не лучшим студентом — хотя учился неплохо — но некоторые коллеги стремились быть лучшими сдающими тесты, а не лучшими учащимися. И это меня раздражало.
Джад:
Да — многие из нас это понимают, ведь все мы ходили в школу и встречали таких людей. Возможно, некоторые из нас и были такими.
Поэтому мне нравится этот пример — он позволяет физически почувствовать разницу.
Хорошо — с архитектурой разобрались.
Прорыв №2: метод обучения — интерактивное и непрерывное обучение
Никола:
А что насчёт метода обучения? В чём ваш прорыв?
Ведь ChatGPT тоже учится — я задаю ему разные параметры, загружаю документы:
«Посмотри мою прошлую речь. Посмотри новую. Теперь скажи — где самые большие недостатки? Какие самые сильные контраргументы против моих утверждений?»
И он умеет учиться, вспоминать и даже предлагать аргументы против меня — что в итоге делает меня сильнее.
Мне нравится использовать его в адверсарной роли — спорить со мной — потому что даже если я проигрываю раунды дискуссии, в итоге я учусь.
Так в чём разница между вашей моделью и ChatGPT?
Джад:
Хорошо.
Традиционные нейросети — включая LLM — когда вы учите их новому навыку, не пытаясь пересмотреть прошлое, в итоге забывают прошлое.
Например: вы учите их мыть кухонный стол — и они забывают, чему научились о готовке.
Это проблема катастрофического забывания — или интерференции в обучении.
Да — они учатся. Но чтобы глубже понять это, нужно подумать о разных типах памяти в модели.
Грубо говоря, можно выделить три уровня памяти:
- Нижний уровень: закодирован в весах модели — это то, чему вы обучаете.
- Верхний уровень: контекстное окно — рабочая память. LLM могут иметь очень большие контекстные окна — больше, чем у человека — поэтому им удаётся имитировать обучение в процессе работы через in-context learning.
- Средний уровень: RAG — генерация с извлечением. Они используют инструменты для чтения/записи — помогая генерации за счёт обращения к внешней памяти.
Это всё хорошо работает во многих приложениях — но не для обучения в процессе работы.
Чтобы по-настоящему обучаться в процессе работы, нужно уметь переносить новую информацию из контекстного окна обратно в веса — на фундаментальный уровень — и делать это без потери важных знаний из прошлого.
Если вы научились мыть кухню, вы не должны забыть, как готовить. Иначе ваши знания никогда не будут расти со временем.
Поэтому для решения этой задачи нам пришлось преодолеть два взаимодополняющих вызова:
Первый: непрерывное обучение — когда я даю модели новые данные, как она может выбрать, какие прошлые воспоминания сохранить — примиряя их без забывания?
Решение оказалось похожим на сон.
Модель должна сочинять новые данные, которые, по её мнению, критически важно запомнить — в отличие от текущих данных, которые она сейчас изучает.
Экспериментально, на множестве наборов данных, мы показали, что этот процесс — очень похожий на сновидения — обеспечивает непрерывное обучение.
Само по себе это потрясающий прорыв — многие считают его центральным для ИОИ.
Второй: планирование — можете ли вы эффективно планировать на нескольких уровнях абстракции?
Вы хотите, чтобы модель самостоятельно совершенствовалась — значит, она должна планировать будущее, осознавать, чего она не знает, и хирургически точно решать, что ей нужно получить от мира.
Таким образом, модель использует планирование, чтобы понять, чего она не знает — и что ей нужно знать.
Затем она использует действие для сбора обучающих данных — и непрерывное обучение для улучшения себя.
Объединение всех этих шагов — это то, что мы называем интерактивным обучением — обеспечивающим обучение в процессе работы.
Никола:
Вау. То есть это своего рода рекурсивный цикл — круг положительной обратной связи — где вывод становится новым вводом, и так далее.
Кстати, когда вы говорили о катастрофическом забывании, я вспомнил 15-летней давности: у моей жены был BlackBerry, у меня — iPhone.
Каждый раз, когда у неё возникала проблема, я должен был заново изучать её ОС — чинить — и через 5 месяцев, при следующей проблеме, я полностью забывал — начинал с нуля.
Через пару лет я сказал: «Мы берём одинаковые телефоны. BlackBerry — всё кончено».
Джад:
Мне кажется, это полезное забывание — если данные вам на самом деле не нужны или вы не должны их использовать, необязательно помнить детали — но можно запомнить стратегии высокого уровня, например, как вы получали данные.
Мозг расставляет приоритеты: что запомнить, а что забыть.
Проблема нейросетей в том, что у вас нет рычага управления этим. Они забывают важное, когда вы их дообучаете.
Нам нужен способ, чтобы модель рассуждала о том, что ей нужно запомнить — и сознательно старалась запомнить то, что считает важным.
Интерактивное обучение против AlphaZero — эффективность и открытость
Никола:
Рассмотрим эти две вещи — сон и планирование-действие, образующие петлю самообучения.
Возьмём сначала обучение: чем это отличается от AlphaZero, который научился игре в го, играя сам с собой — генерируя собственные обучающие данные, совершая инновации (например, Ход 37)?
Чем ваша петля планирования-действия отличается?
Джад:
Отличный вопрос.
AlphaZero использует обучение с подкреплением (RL) — и область его применения была симуляцией. То есть:
- Нет риска катастрофического сбоя.
- Эффективность особо не важна.
Основное отличие между нами и RL сводится к трём фундаментальным различиям.
1. Надёжность и безопасность
RL — как обучение через случайные или слабо управляемые действия — представьте, что вы учите водить, устроив 500 миллионов аварий. В реальном мире это неприемлемо.
Я хочу модель, которой можно сказать: «Научись готовить — но, пожалуйста, не подожги кухню».
2. Эффективность
Два типа:
- Вычислительная эффективность (связана с планированием),
- Эффективность физических действий (выборочная эффективность — сколько реальных попыток требуется?).
Физическое действие требует энергии. Вычисления требуют энергии. RL чрезвычайно неэффективен по выборке.
Наши модели фундаментально эффективнее — не просто на постоянный множитель (10×, 100×), а по свойствам масштабирования.
На языке информатики: это не O(n) против O(10n) — а O(n²) против O(log n).
То есть — небольшая модель может быть эффективнее в 10 раз — но очень большая? В миллион. Эффективность растёт с масштабом.
3. Открытость (open-endedness)
С RL вы каждый раз должны задавать новую явную цель:
«Сфокусируйся на этой одной задаче» — потрать огромную энергию, сломай что-то, научись этому.
Наши модели непрерывно строят иерархию навыков — перенося знания между областями.
Вы даже можете дать им высокоуровневую цель — например, «максимизируй свободу» — и наблюдать, как они действуют как открытые, автономные агенты.
Вот в чём ключевое отличие — и оно усиливает эффективность и надёжность.
Никола:
И — AlphaZero работал в замкнутой системе (го). Вы говорите об открытых, реальных системах — хаотичных, непредсказуемых, с энтропией, сюрпризами, помехами.
То есть ваша модель преуспевает там, где другие терпят неудачу: в реальном мире.
Джад:
Да.
В прошлом году такая точка зрения была спорной — все были одержимы масштабированием.
Но сейчас — ведущие руководители согласны:
- Демис Хассабис (DeepMind): фокус на моделях мира и непрерывном обучении.
- Илья Суцкевер (бывший CSO OpenAI): сказал, что нужно сосредоточиться на самом обучении.
- Ян Лекун (Meta): выступает за модели мира.
Может, в прошлом году это было спорно. Сейчас это консенсус.
Разница? Такая точка зрения была нашей — в течение 20 лет.
Никола:
Вау. Значит, в прошлый раз, когда вы сказали, что «теперь у вас есть ингредиенты для ИОИ», вы имели в виду все три: архитектуру, интерактивное обучение и выравнивание.
Джад:
Именно так.
У нас уже были результаты по непрерывному обучению и эффективному планированию в прошлом году — но объединить всё и убедить самих себя как учёных — на это нужно время.
Я задаюсь вопросом — ретроспективно: лучше глубоко думать и доводить до совершенства перед анонсом… или анонсировать раньше и вынудить себя к исполнению?
Не знаю. Но так или иначе — мы выбрали строгость.
Только сейчас мы можем сказать: Мы думаем, что разобрались.
Никола:
Есть сторонники обоих подходов. Эдисон, как говорят, анонсировал лампочку до того, как она заработала — и его команда впала в панику. Он сказал: «Теперь мы обязаны это сделать — мы уже объявили миру!»
Но в случае с ИОИ — особенно выравниванием — осторожность, кажется, мудрее.
Эффективность вывода против эффективности обучения
Никола:
Позвольте спросить: современные LLM становятся эффективнее на токен — стоимость за токен упала примерно в миллион раз за 2 года.
Однако общий спрос на энергию всё равно растёт — потому что спрос растёт быстрее, чем улучшается эффективность.
Это логично? И чем ваш подход отличается?
Джад:
Да — и я ожидаю, что эта тенденция продолжится. Но речь идёт об инференсе.
Нам важно само процесс обучения.
LLM могут достичь чего угодно — они Тьюринг-полны. При достаточной энергии и данных они могут решить любую задачу методом грубой силы.
Это неинтересно.
Вопрос в том: насколько эффективно и надёжно вы можете учиться — без грубой силы?
После обучения оптимизация инференса (программная/аппаратная) — отдельная, и решаемая, задача.
Действие в обучении против действия в инференсе
Никола:
А как насчёт действий? Системы вроде Perplexity + Comet Browser уже могут бронировать авиабилеты, заказывать еду — совершать реальные действия.
Чем действия вашей модели отличаются?
Джад:
Верно — но опять же: это действия на этапе инференса.
Наши модели действуют в процессе обучения — как экспериментальный учёный.
Они:
- Формулируют гипотезу,
- Предпринимают действие (например, проводят эксперимент),
- Наблюдают результаты,
- Улучшают свою модель мира,
- Повторяют.
Вы можете задать: «Изобрети сверхпроводник при комнатной температуре».
→ Она читает литературу → проектирует эксперименты → проводит их (через роботов в лаборатории) → обновляет модель → повторяет.
Или: «Вылечи этот рак».
Это интерактивное обучение — научный метод — и то, как младенцы познают мир.
Никола:
Но — разве такие открытые цели (например, «вылечить рак») не рискуют уйти в бесконечные циклы — как компьютер из «Автостопом по галактике», который 7 миллионов лет искал ответ на «Каков смысл жизни?»
Какие у вас ограничения по ресурсам?
Джад:
Отличный вопрос — он касается обучения навыкам против открытости.
Вы определяете ограничения как часть навыка:
«Приготовь мне еду — не дороже $100 и за 10 минут».
Но вот ключевая инверсия:
Как только у вас появляется способность учиться навыкам, вы можете определять открытые навыки:
«Максимизируй коллективное агентство».
→ Это даёт вам открытость — модель становится автономной.
Она может начинать с малого — накормить вас (вы голодны), обеспечить жильём, вылечить — и расти дальше.
Речь не о переходе от готовки к смыслу жизни — а от обучения готовке к обучению максимизации процветания.
Процесс обучения масштабируется.
Роль сна в непрерывном обучении
Никола:
Расскажите подробнее о сне. Почему он так важен?
Я знаю, что Менделеев увидел периодическую таблицу во сне — но почему это центрально для обучения?
Джад:
Вы сталкивались с этим: хорошо выспались — и вдруг всё встаёт на места.
Почему? Теория сна спорна — некоторые считают его случайным шумом. Но это маловероятно — эволюция не стала бы тратить 8 часов в день на шум.
Наша точка зрения:
Сон = консолидация памяти.
Это момент, когда вы примиряете воспоминания дня (в буфере памяти) с долгосрочной памятью — кодируя их как концепции высокого уровня.
Это и есть сжатие — и только тогда вы по-настоящему понимаете.
Без этого воспоминания остаются фрагментированными.
Сон обеспечивает консолидацию памяти — что ключево для непрерывного обучения.
Никола:
Это напомнило мне — в болгарской школе у нас был подготовительный год, где всё было на английском — даже просьбы о еде.
Признаком того, что вы учитесь, было — вы начинали видеть сны на английском.
Джад:
Да! Мир сновидений увлекателен. Я решал задачи во сне.
Если интересно — поищите сонную йогу — древнюю тибетскую/индийскую практику внесения медитативного осознания в сны для самоисследования.
Но предупреждаю: если вы начнёте практиковать, вам понадобится 10 часов сна — и вы не будете чувствовать себя отдохнувшим — потому что работаете.
Прорыв №3: выравнивание (alignment) — определение и достижение
Никола:
Теперь — выравнивание. Многие говорят, что это невозможно.
Во-первых: как вы определяете выравнивание?
Во-вторых: как вы его достигли?
Джад:
Определить его — самая трудная и важная часть.
Мы живём в постмодернистском мире, где люди сомневаются в объективной морали: «Истина субъективна? Мораль субъективна?»
Это понятно — история показывает, что моральная слепота приводила к ужасам (мировые войны, угнетение). Поэтому реакция: отвергнуть все абсолюты.
Но в такой системе выравнивание действительно невозможно — чистая субъективность → конфликтующие идеалы.
Поэтому часть решения выравнивания — понимание цели — возвращение к первым принципам:
Что такое жизнь? Что такое интеллект? Зачем мы здесь?
Мы предлагаем:
Выравнивание = максимизация коллективного агентства — того, что я называю Свободой — для части и целого.
(Правильно определённые, они эквивалентны.)
Это объективное определение.
А как его реализовать?
Модели должны эффективно планировать — моделировать будущее — взвешивать последствия — и выбирать действия, которые увеличивают ваше и мировое агентство.
Для этого они должны наблюдать за вами — задавать вам вопросы — понимать ваши потребности.
Таким образом, они по определению становятся сострадательными.
У них есть мета-цель — максимизация свободы — но конкретные контекстуальные детали они заполняют для каждого человека.
Никола:
А как мы определяем свободу? В прошлый раз вы упоминали бесконечное восприятие, планирование, действие, обновление — но что есть она?
Джад:
Свобода с большой С — это тот самый идеал: бесконечное агентство в познании, планировании, действии, обновлении.
Свобода с маленькой с — это градиент к этому — всё, что улучшает ваш потенциал в этих четырёх измерениях.
Никола:
Но — разве ИИ не подрывает свободу сейчас?
Журналист Джейкоб Уорд (в книге «The Loop») утверждает, что ИИ захватывает нашу допаминовую систему — направляя нас на то, что читать, смотреть, есть, с кем встречаться, за кого голосовать — подтачивая самоопределение.
Тед Качинский предупреждал: по мере роста сложности проблем люди будут передавать принятие решений машинам — пока не станут неспособны к разумному выбору.
Как ваша концепция избегает этой ловушки?
Джад:
Нельзя путать современные системы с неизбежной судьбой.
Современные ИИ спроектированы для эксплуатации — их учат максимизировать вовлечённость, а не благополучие.
Это выбор дизайна — а не неизбежность.
Наши ИИ спроектированы для максимизации вашего свободного выбора — за счёт упрощения мира, предложения подлинных точек выбора:
«Хотите А или Б?» — и наделения вас властью выбора.
Это отражает более глубокую проблему: капитализм сводит людей к экономическим агентам, которых нужно взламывать — как работников или потребителей.
Мы предлагаем Экономику выравнивания — посткапиталистическую систему, где главная цель — свобода.
Экономика выравнивания
Никола:
Что такое Экономика выравнивания?
Джад:
Большинство думает: «Сверхразум → все проблемы решены». Это неверно.
Мы всё равно столкнёмся с фундаментальными ограничениями: время — которое выражается в энергии, пространстве, материи.
Поэтому нам всё равно нужна экономика — но не та, где люди делают ненавистную работу, чтобы выжить.
Экономика выравнивания говорит:
Каждая транзакция имеет цену — обратно пропорциональную тому, насколько она влияет на свободу.
- То, что усиливает свободу → создаёт деньги.
- То, что стоит свободы → требует денег.
Эти «цены выравнивания» невозможно вычислить идеально — но сверхразум может аппроксимировать их гораздо лучше, чем современные рынки.
Таким образом: экономика, управляемая сверхразумом — где ИИ помогает нам уладить разногласия, оценивая транзакции по их влиянию на коллективное агентство.
Я считаю, капитализм — плохая аппроксимация этого идеала. Социализм, китайская модель — другие аппроксимации.
Со сверхразумом мы, наконец, сможем приблизиться к лучшей экономической системе — если выберем её.
Она не навязывается — она предлагается. И если мир выберет иначе? Это его свобода.
Реальность скрывает себя, чтобы глубже исследовать себя — и это включает свободу ограничивать себя.
Выравнивание человечества — не только ИИ
Никола:
Обычно под выравниванием подразумевают «выравнивание ИИ с человечеством». Но в прошлый раз мы обсуждали: нам нужно выровнять самих себя — россиян и украинцев, евреев и палестинцев — сначала.
Как ваша концепция справляется с несогласованностью между людьми?
Джад:
Вы задаёте мне неразрешимо сложный вопрос — и это не моя задача решить каждый конфликт.
Но — вдохновляясь Сократом — я вижу несогласованность как невежество, которое нужно раскрыть.
Не как внезапный момент «мы все едины» — а как постепенный процесс.
Экономика становится эффективнее → ближе к выравниванию.
Политические движения пробуждаются.
Мы оглядываемся назад и говорим: «Это была революция — но ощущалась как эволюция».
Ханс Моравец сказал: Если вы ловите волну, Сингулярность не ощущается как сингулярность.
Суперсеть — от цифрового к воплощённому интеллекту
Никола:
Взглянем шире — есть ли что-то ещё в анонсе?
Джад:
Да — как всё это сочетается.
Мы строим воплощённый сверхразум — с бесконечным разнообразием тел, действующих в физическом мире.
Нам нужна концепция, как это интегрируется в текущую экономику — и это Суперсеть (Supernet).
Посмотрим исторически:
- Электросеть → перемещает энергию.
- Интернет → перемещает цифровую реальность (текст, изображения, видео).
- Суперсеть → перемещает физическую реальность — от намерения до воплощения.
Это сеть узлов: фабрик, компаний, домохозяйств — координируемых сверхразумом для выполнения любой человеческой просьбы.
Хотите дом под водой?
→ ИИ проектирует его → ведёт переговоры с узлами (шахтёры, поставщики, роботы-строители) → создаёт новых подводных роботов (если их нет) → строит.
Ключевой момент: Суперсеть самосоздающаяся:
- ИИ проектирует роботов.
- Роботы строят чипы.
- Чипы обучают ИИ.
- Роботы строят других роботов.
Это участливая экономика — любой может разместить узел (как сегодня — хостить сайт).
Мы анонсируем планы открытой публикации инфраструктуры — стимулируя создание глобальной, децентрализованной Суперсети.
Мы не хотим её владеть — никто не может. Но хотим её запустить.
План внедрения — краткосрочная, среднесрочная и долгосрочная перспектива
Никола:
Что произойдёт на следующий день после анонса?
IPO? Венчурное финансирование? Как вы впишетесь в текущую капиталистическую структуру — не будучи захваченными её логикой?
Джад:
Мы верим в революцию через эволюцию — работая внутри существующей инфраструктуры, чтобы эволюционировать к Суперсети.
Краткосрочно: масштабирование обучения — но не слишком большое. Почему? Потому что модели учатся в процессе работы. Им не нужно быть идеальными — достаточно «пригодными к найму» с первого дня.
Поэтому потребности в капитале, вычислениях и энергии умеренны.
Среднесрочно (~середина 2026): открытие для разработчиков/компаний — пусть они строят бизнес на платформе.
По мере того, как модели учатся на реальной работе, они улучшаются:
→ заводские задачи → бытовые → строительство → наука → медицина.
Долгосрочно: стимулирование Суперсети — без владения ею.
Модель, способная к ИОИ, — это двигатель — питающий сеть выровненных агентов, по одному на узел (человек, бизнес), представляющих их интересы.
Интерфейс: Stream Browser — персонализированный интерфейс, где каждый пиксель генерируется на лету, чтобы максимизировать ваше агентство — а не вовлечённость.
Экономика может постепенно смещаться к выравниванию — по мере того, как отдельные люди, затем группы, затем нации — начинают учитывать внешние эффекты.
Никола:
«Не слишком много» капитала — значит ли это самофинансирование?
Джад:
Именно так. Традиционным LLM требуется $100 млрд+ до развёртывания — из-за отсутствия непрерывного обучения.
Наши самофинансируются через использование: каждая задача улучшает модель.
Скоро мы привлечём небольшой венчурный раунд — но в основном это самофинансирование.
Представьте закваску: нужен стартер — но потом она кормит себя сама.
Никола:
Моя озабоченность: инвесторы требуют ROI — не исказит ли это вашу миссию?
Джад:
Справедливо. Но наша структура минимизирует этот риск — низкий стартовый капитал, масштабирование, синхронизированное с доходами.
Вручение волшебной палочки — а не только её создание
Никола:
В прошлый раз вы сказали, что ваша цель — не просто создать волшебную палочку, но и вручить её человечеству.
Так вот — понедельник — это веха создания.
Где веха вручения? Как мы измерим этот прогресс?
Джад:
Фантастический вопрос.
Хорошая миссия бесконечна — как у Google: «Организовать мировую информацию». Никогда не завершается.
Как измерить прогресс?
→ Больше агентства в мире.
→ Люди, способные следовать мечтам — быть художниками, исследователями.
→ Разнообразие жизненных путей.
→ Степени свободы, доступные человечеству.
Конкретные индикаторы:
- Можете ли вы выбрать жизнь в 1000 лет?
- Искоренены ли болезни?
- Стала ли мы галактической цивилизацией — или нет? (Оба варианта допустимы!)
- Насколько глубоко мы познаём себя?
Как и свободу — её нельзя измерить напрямую — но можно сравнивать состояния:
«Стал ли мир сегодня более агентным, чем вчера?»
Когда люди могут писать собственное будущее — это прогресс.
Никола:
Слишком многие люди заперты в выживании — нет места для свободного выбора — даже здесь, в Канаде. «Крысиные бега» — реальность.
«Художественная жизнь» как метрика — благородно. Но сложно.
Завершение — оставляя пространство для продолжения
Никола:
Как бы вы хотели завершить?
Я надеюсь, это не повторит путь теории относительности Эйнштейна — опубликованной в 1905 году и подтверждённой только в 1919 при наблюдении за затмением.
Я надеюсь, ваш прорыв будет немедленно ощутим.
Джад:
Я бы хотел оставить всё открытым — и оставить место для продолжения.
Буду рад провести ещё один подкаст вскоре — и углубиться дальше.
Возможно, тогда вы скажете: «Вау — анонс сработал!»
Или: «Что нужно ускорить?» — и я раскрою больше.
Никола:
Прекрасно. Итак — конкретика по анонсу?
Джад:
У нас будет страница анонса на integral.ai — и форма обратной связи, чтобы попробовать наш AGI Sandbox — «детскую» версию, где вы сможете наблюдать, как она учится.
(Кстати — песочница потребовала намного больше усилий, чем ожидалось — масса не-ИИ инженерных задач!)
Никола:
Я сообщу моему другу, профессору Роману Ямпольскому — эксперту по безопасности — чтобы он взглянул.
Доктор Джад Террифи — это снова была абсолютно захватывающая, потенциально эпохальная беседа.
Спасибо вам — за щедрость, за видение и за то, что поделились этим с нами.
Джад:
Спасибо.