Интервью Илья Суцкевер

Глава 1: «Медленный взлёт» кажется нормальным — но так ли это на самом деле?

ВЕДУЩИЙ:
Знаешь, что удивительно? То, что всё это реально. Что именно? Неужели ты так не думаешь? Всё это с ИИ, вся эта ситуация в районе залива Сан-Франциско… Это ведь прямиком из научной фантастики!
Ещё одна удивительная вещь — как нормально ощущается медленный взлёт. Идея, что мы вкладываем 1% ВВП в ИИ, по ощущениям должна была бы казаться гораздо более значимой, тогда как сейчас это просто…
Оказывается, мы довольно быстро привыкаем к вещам. Но также всё это довольно абстрактно. Что это вообще значит? Это значит, что в новостях ты читаешь: «такая-то компания объявила о вложении такой-то непостижимой суммы». И только и всего. Больше это никак не ощущается.
Может, начнём обсуждение прямо отсюда? Думаю, это интересная тема.
ИЛЬЯ:
Конечно. Я думаю, ваша мысль о том, что с точки зрения среднего человека ничего особо не изменилось, останется верной даже в эпоху сингулярности.
ВЕДУЩИЙ:
Нет, я так не думаю.
ИЛЬЯ:
Хорошо, интересно. То, о чём я говорил, имея в виду отсутствие изменений — это вот что: «О, такая-то компания объявила какую-то труднопостижимую сумму инвестиций». Никто и не знает, что с этим делать.
Но я думаю, что воздействие ИИ будет ощущаться. ИИ проникнет во всю экономику. На это будут действовать очень сильные экономические силы, и я думаю, его влияние будет ощущаться очень сильно.
ВЕДУЩИЙ:
Когда вы ожидаете этого воздействия?
ИЛЬЯ:
Мне кажется, модели выглядят умнее, чем подразумевало бы их экономическое влияние.
ВЕДУЩИЙ:
Да. Это одна из самых запутанных вещей в текущих моделях. Как примирить тот факт, что они так хорошо справляются с оценками? Смотришь на результаты проверок и думаешь: «Это ведь довольно сложные проверки». Они действительно отлично справляются.
Но экономическое воздействие, похоже, значительно отстаёт. Очень трудно понять, как модель с одной стороны может делать такие впечатляющие вещи, а с другой — повторять одну и ту же ошибку дважды в какой-то ситуации.
Например, допустим, вы используете «кодирование по наитию» (vibe coding), чтобы что-то сделать. Вы приходите в какое-то место, возникает ошибка. Вы говорите модели: «Можешь, пожалуйста, исправить ошибку?» И модель отвечает: «Боже мой, ты совершенно прав. У меня ошибка. Дай-ка я это исправлю». И вносит вторую ошибку.
Тогда вы говорите: «У тебя появилась вот эта вторая ошибка», и она отвечает: «Боже мой, как я мог так поступить? Ты снова совершенно прав», — и возвращает первую ошибку. И вы можете бесконечно переключаться между ними.
Как такое возможно?
ИЛЬЯ:
Не уверен, но это определённо говорит о том, что происходит что-то странное.
У меня есть два возможных объяснения.
Более причудливое — может быть, обучение с подкреплением (RL) делает модели немного слишком узконаправленными и сосредоточенными, чуть-чуть слишком невнимательными, хотя в то же время делает их осведомлёнными в других аспектах. Из-за этого они не могут делать даже базовые вещи.
Но есть и другое объяснение.
Когда люди занимались предобучением (pre-training), вопрос о том, на каких данных обучаться, был решён просто: ответом было «на всём». При предобучении нужны все данные, так что не нужно было думать: «эти данные или те?»
Но при обучении с подкреплением людям приходится думать. Они говорят: «Хорошо, мы хотим такое RL-обучение для этой задачи и такое RL-обучение для той».
Насколько я слышал, у всех компаний есть команды, которые просто придумывают новые RL-среды и добавляют их в обучающий набор.
Вопрос в том: а какие они? Тут так много степеней свободы. Существует огромное разнообразие RL-сред, которые можно создать.
Одно из возможных действий, и я думаю, что это делается непреднамеренно, — это когда люди черпают вдохновение из проверочных заданий (evals). Вы говорите: «Эй, я хочу, чтобы наша модель при выпуске показывала отличные результаты на проверках. Я хочу, чтобы цифры на проверках выглядели впечатляюще. Какое RL-обучение могло бы помочь в этой задаче?»
Я думаю, такое происходит, и это могло бы объяснить многое из наблюдаемого.
Если объединить это с фактом, что обобщающая способность (generalization) моделей на самом деле недостаточна, то это может объяснить многое из того, что мы видим: разрыв между результатами на проверках и реальной производительностью в мире — с чем мы сегодня даже не до конца понимаем, что мы вообще имеем в виду под этим.
ВЕДУЩИЙ:
Мне нравится эта идея, что настоящее «взломом награды» (reward hacking) занимаются сами исследователи, слишком зацикленные на проверочных тестах.
Мне кажется, есть два способа понять или поразмышлять над тем, что вы только что сказали.
Первый: если действительно так, что просто став сверхчеловеком в соревнованиях по программированию, модель автоматически не станет более тонко чувствующей вкус и не начнёт лучше судить, как улучшать ваш код, тогда вам нужно расширить набор сред так, чтобы вы проверяли не только максимальную производительность в соревнованиях по программированию.
Модель также должна уметь создавать наилучшие приложения для такой-то, эдакой или иной задачи.
Другой путь — возможно, именно к этому вы намекаете — состоит в том, чтобы спросить: «Почему вообще должно быть так, что достижение сверхчеловеческих результатов в соревнованиях по программированию автоматически не делает вас более вдумчивым программистом в целом?» Возможно, решение не в том, чтобы продолжать наслаивать всё больше и разнообразнее сред, а в том, чтобы найти подход, позволяющий учиться в одной среде и улучшать производительность в чём-то другом.
ИЛЬЯ:
У меня есть полезная аналогия с человеком. Возьмём случай с соревновательным программированием, поскольку вы его упомянули.
Представьте двух студентов. Один решает, что хочет стать лучшим соревновательным программистом, и поэтому тренируется 10 000 часов в этой области. Он решает все задачи, заучивает все техники доказательств и очень хорошо умеет быстро и правильно реализовывать алгоритмы. В результате он становится одним из лучших.
Второй студент думает: «О, соревновательное программирование — это круто». Возможно, он потренировался всего 100 часов — намного меньше — и тоже очень хорошо себя показал.
Кто, по-вашему, будет успешнее в дальнейшей карьере?
ВЕДУЩИЙ:
Второй.
ИЛЬЯ:
Верно. Думаю, именно так сейчас обстоит дело с моделями — они намного больше похожи на первого студента, и даже в большей степени.
Потому что затем мы говорим: «Модель должна быть хороша в соревновательном программировании, так давайте возьмём каждую задачу по соревновательному программированию, которая когда-либо существовала. А потом применим аугментацию данных, чтобы их стало ещё больше, и обучимся на этом». Теперь у вас отличный соревновательный программист.
С этой аналогией становится интуитивнее понятно: да, конечно, если он так хорошо подготовлен, все алгоритмы и техники доказательств у него под рукой. И интуитивно ясно, что при такой подготовке он не обязательно будет хорошо обобщать на другие задачи.
Но тогда какова аналогия для того, чем занимался второй студент до своих 100 часов тонкой настройки?
ВЕДУЩИЙ:
Я думаю, у него есть «оно».
ИЛЬЯ:
Фактор «оно». Когда я учился в бакалавриате, я помню, был такой студент, с которым мы учились вместе — так что я знаю, что это существует.
Мне кажется, интересно отличить «оно» от того, что даёт предобучение.
Один из способов понять то, что вы только что сказали о том, что при предобучении не нужно выбирать данные, — это сказать, что на самом деле это не сильно отличается от тех 10 000 часов практики. Просто вы получаете эти 10 000 часов практики «даром», потому что они уже где-то содержатся в распределении данных предобучения.
Но, возможно, вы намекаете, что на самом деле из предобучения почти не происходит обобщения. Просто данных в предобучении очень много, но они не обязательно дают лучшее обобщение, чем RL.
Главное преимущество предобучения в том, что:
А) его объём огромен, и
Б) вам не нужно сильно задумываться, какие данные туда включить. Это очень естественные данные, и в них действительно содержится многое из того, чем занимаются люди: их мысли, множество признаков.
Это как весь мир, спроецированный людьми в текст, и предобучение пытается уловить это с помощью колоссального объёма данных.
Предобучение очень трудно осмыслить, потому что так сложно понять, каким именно образом модель опирается на данные предобучения.
Каждый раз, когда модель ошибается, может ли это быть связано с тем, что что-то по случайности недостаточно поддерживается данными предобучения? «Поддержка данными предобучения» — возможно, расплывчатый термин. Не знаю, могу ли я добавить что-то более полезное по этому поводу.
Я не думаю, что у людей есть аналог предобучения.

Глава 2: Человеческие аналоги предобучению — детство? эволюция?

ВЕДУЩИЙ:
Вот аналогии, которые люди предлагали в качестве человеческого аналога предобучению. Мне интересно узнать ваше мнение, почему они потенциально неверны.
Одна — думать о первых 18 (или 15, или 13) годах жизни человека, когда он, возможно, ещё не экономически продуктивен, но занимается чем-то, что помогает ему лучше понять мир и так далее.
Другая — рассматривать эволюцию как некий поиск, длившийся 3 миллиарда лет, который затем привёл к появлению индивидуума за одну человеческую жизнь.
Мне интересно, считаете ли вы любую из этих аналогий сопоставимой с предобучением. Как бы вы думали о том, чем является обучение человека за одну жизнь, если не предобучением?
ИЛЬЯ:
Думаю, в обеих этих аналогиях есть определённое сходство с предобучением, и предобучение пытается выполнять роль обеих. Но я также думаю, что есть и существенные различия.
Объём данных предобучения очень и очень поражает воображение. Да. Каким-то образом человек, даже проведя 15 лет с крошечной долей данных предобучения, знает гораздо меньше. Но то, что он знает, он понимает гораздо глубже, так сказать.
Уже в этом возрасте вы не допускали бы ошибок, которые допускают наши ИИ.
Есть ещё кое-что. Можно возразить: а может быть, это всё-таки похоже на эволюцию? Ответ — возможно. Но в данном случае, думаю, эволюция может даже иметь преимущество.
Я помню, как читал об одном случае. Один из способов, которым нейробиологи изучают мозг, — это изучение людей с повреждениями разных участков мозга. У некоторых людей наблюдаются самые странные симптомы, какие только можно представить. Это действительно очень интересно.
Один релевантный случай, который приходит на ум. Я читал о человеке, у которого из-за повреждения мозга — инсульта или несчастного случая — был выведен из строя центр обработки эмоций. В результате он перестал испытывать какие-либо эмоции. Он оставался очень красноречивым, мог решать логические задачки, и на тестах казался вполне нормальным.
Но он не чувствовал никаких эмоций. Он не чувствовал грусти, не чувствовал гнева, не проявлял живости. Он стал чрезвычайно плох в принятии решений вообще. Ему требовались часы, чтобы выбрать, какие носки надеть. Он принимал очень плохие финансовые решения.
Что это говорит о роли наших встроенных эмоций в том, чтобы мы были жизнеспособными агентами, по сути?
Связывая это с вашим вопросом о предобучении: возможно, если вы достаточно хорошо извлечёте всё из предобучения, вы получите и это. Но такой тип вещей кажется… Ну, возможно, это достижимо из предобучения, а возможно, и нет.
ВЕДУЩИЙ:
Что вы имеете в виду под «этим»? Очевидно, не просто эмоции напрямую. Похоже, это почти что-то вроде функции ценности (value function), которая говорит вам, какой должна быть конечная награда за любое решение.
Вы думаете, что это не возникает неявно из предобучения?
ИЛЬЯ:
Думаю, может возникнуть. Я лишь говорю, что это не на 100% очевидно.
Но что это такое? Как вы думаете об эмоциях? Какова аналогия с машинным обучением для эмоций?
Это должно быть что-то вроде функции ценности. Но я не думаю, что существует хорошая аналогия в машинном обучении, потому что сейчас функции ценности не играют заметной роли в том, чем занимаются люди.
ВЕДУЩИЙ:
Возможно, стоит определить для аудитории, что такое функция ценности, если вы хотите это сделать.
ИЛЬЯ:
Конечно, с удовольствием это сделаю.
Когда люди занимаются обучением с подкреплением, как сегодня обучают таких агентов?
У вас есть нейросеть, вы даёте ей задачу и говорите: «Реши её». Модель совершает, возможно, тысячи, сотни тысяч действий, мыслей или чего-то подобного, и затем выдаёт решение. Решение оценивается.
И эта оценка используется как обучающий сигнал для каждого отдельного действия в траектории. Это означает, что если вы решаете задачу, требующую длительного времени, — если вы обучаете выполнению задачи, на решение которой уходит много времени, — обучение вообще не происходит, пока вы не получите предложенное решение.
Именно так обучение с подкреплением делается наивно. Именно так, предположительно, сделаны o1, R1.
Функция ценности говорит примерно следующее: «Может быть, я иногда — не всегда — могу сказать тебе, идёшь ли ты в правильном направлении или нет».
Понятие функции ценности полезнее в одних областях, чем в других. Например, в шахматах, когда вы теряете фигуру — я ошибся. Не нужно доигрывать партию до конца, чтобы понять, что только что сделанное мной было плохо, а значит, и всё, что этому предшествовало, тоже было плохо.
Функция ценности позволяет не ждать до самого конца.
Предположим, вы решаете какую-то математическую или программистскую задачу и исследуете определённое решение или направление. После, скажем, тысячи шагов размышлений вы приходите к выводу, что это направление бесперспективно. Как только вы приходите к этому выводу, вы уже можете получить сигнал награды за тысячу шагов назад — когда вы решили пойти по этому пути.
Вы говорите себе: «В следующий раз в похожей ситуации я не должен выбирать этот путь», — ещё до того, как вы фактически сформулировали окончательное решение.
В статье DeepSeek R1 упоминалось, что пространство траекторий настолько велико, что, возможно, трудно научиться отображать промежуточную траекторию в ценность. А также учитывая, что, например, при программировании у вас будет неправильная идея, затем вы вернётесь назад, что-то измените…
ВЕДУЩИЙ:
Это звучит как такой недостаток веры в глубокое обучение. Конечно, это может быть трудно, но нет ничего, с чем бы не справилось глубокое обучение.
ИЛЬЯ:
Я ожидаю, что функция ценности должна быть полезной, и полностью ожидаю, что ею будут пользоваться в будущем, если уже не используют.
То, на что я намекал, рассказывая о человеке с повреждённым эмоциональным центром, — это скорее то, что, возможно, функция ценности у людей модулируется эмоциями важным образом, запрограммированным эволюцией. И, возможно, это важно для того, чтобы люди эффективно действовали в мире.

Глава 3: Эмоции как простые, но устойчивые функции ценности

ВЕДУЩИЙ:
Вот о чём я собирался спросить. В эмоциях как функциях ценности есть нечто действительно интересное: впечатляет, что у них такая полезность, несмотря на то, что их природа довольно проста для понимания.
ИЛЬЯ:
Я согласен, что по сравнению с тем, чему мы учимся и о чём говорим — с тем ИИ, о котором мы говорим, — эмоции относительно просты. Они могут быть настолько просты, что, возможно, их даже можно описать в понятной человеку форме. Думаю, было бы здорово это сделать.
Что касается полезности, я думаю, есть некий компромисс между сложностью и устойчивостью: сложные вещи могут быть очень полезны, но простые вещи оказываются очень полезными в очень широком диапазоне ситуаций.
Один из способов истолковать то, что мы наблюдаем, — это признать, что у нас есть эти эмоции, сформировавшиеся в основном у наших млекопитающих предков и лишь немного доработанные, когда мы были гоминидами — совсем чуть-чуть. У нас, правда, есть довольно много социальных эмоций, которых могут не иметь млекопитающие.
Но они не очень сложны. И именно потому, что они не сложны, они так хорошо служат нам в этом совсем ином мире по сравнению с тем, в котором мы жили.
Более того, они тоже допускают ошибки. Например, наши эмоции… Хотя, на самом деле, я не знаю. Считается ли голод эмоцией? Это спорно.
Но, например, наше интуитивное чувство голода не справляется с тем, чтобы правильно направлять нас в мире изобилия пищи.

Глава 4: Масштабирование — и что приходит после

ВЕДУЩИЙ:
Люди много говорили о масштабировании данных, параметров, вычислительных мощностей. Есть ли более общий способ думать о масштабировании? Каковы другие оси масштабирования?
ИЛЬЯ:
Вот точка зрения, которая, как мне кажется, может быть верной.
То, как работало машинное обучение раньше, — это просто экспериментирование людей, которые пытались получить интересные результаты. Так происходило в прошлом. Затем пришло понимание масштабирования. Законы масштабирования, GPT-3 — и внезапно все поняли: нужно масштабироваться.
Это пример того, как язык влияет на мышление. «Масштабирование» (scaling) — это всего лишь одно слово, но оно настолько мощное, потому что оно подсказывает людям, что делать. Они говорят: «Давайте попробуем масштабировать».
Итак, вы спрашиваете: что мы масштабируем? Предобучение было тем, что следовало масштабировать. Это был определённый рецепт масштабирования.
Главный прорыв предобучения — осознание того, что этот рецепт хорош. Вы говорите: «Эй, если вы смешаете определённый объём вычислений с определённым объёмом данных в нейросеть определённого размера, вы получите результаты. Вы будете знать, что станете лучше, если просто увеличите масштаб этого рецепта».
Это тоже здорово. Компаниям это нравится, потому что даёт очень низкорисковый способ вложения ресурсов. Гораздо труднее вкладывать ресурсы в исследования.
Сравните. Если вы занимаетесь исследованиями, вы должны сказать: «Вперёд, исследователи, идите и исследуйте, и приходите с чем-нибудь», в отличие от «получить больше данных, больше вычислений». Вы точно получите что-то от предобучения.
Действительно, судя по различным высказываниям некоторых людей в Твиттере, возможно, Gemini нашли способ получить больше от предобучения.
Но в какой-то момент предобучение исчерпает данные. Данные явно конечны. Что делать дальше?
Либо вы проводите какое-то усиленное предобучение — иной рецепт, чем тот, что вы применяли раньше — либо занимаетесь RL, либо чем-то ещё.
Но теперь, когда вычислительные мощности велики — они теперь очень велики — мы, в некотором смысле, возвращаемся в эпоху исследований.
Можно выразиться иначе. До 2020 года, с 2012 по 2020, была эпоха исследований. Теперь, с 2020 по 2025 (плюс-минус, давайте добавим погрешности к этим годам), была эпоха масштабирования, потому что люди говорили: «Это потрясающе. Вы должны масштабироваться ещё больше. Продолжайте масштабироваться».
Одно слово: масштабирование.
Но теперь масштаб настолько велик. Действительно ли вера состоит в том, что «о, он так велик, но если у вас будет в 100 раз больше, всё изменится до неузнаваемости?» Конечно, изменится. Но верите ли вы, что простое увеличение масштаба в 100 раз преобразует всё? Я не думаю, что это верно.
Так что мы вновь возвращаемся в эпоху исследований — просто с большими компьютерами.
Это очень интересный способ взглянуть на это.
Но позвольте задать вам вопрос, который вы только что поставили. Что мы масштабируем, и что значит иметь рецепт?
Я, честно говоря, не знаю чёткой зависимости, почти похожей на закон физики, которая существовала при предобучении. Там была степенная зависимость между данными, вычислениями, параметрами и потерей (loss).
Какую зависимость мы должны искать, и как нам думать о том, как может выглядеть этот новый рецепт?
ИЛЬЯ:
Мы уже наблюдали переход от одного типа масштабирования к другому — от предобучения к RL. Теперь люди масштабируют RL.
Теперь, судя по тому, что люди пишут в Твиттере, они тратят на RL больше вычислений, чем на предобучение, потому что RL действительно может потреблять довольно много вычислительных ресурсов. Вы проводите очень длинные прогоны (rollouts), и на их производство уходит много вычислений. Затем вы получаете относительно небольшое количество обучения за прогон, так что вы действительно можете потратить много вычислений.
Я бы даже не назвал это масштабированием. Я бы сказал: «Эй, чем вы занимаетесь? Является ли то, чем вы занимаетесь, самым продуктивным делом из возможных? Можете ли вы найти более продуктивный способ использования ваших вычислительных ресурсов?»
Мы ранее обсуждали вопрос функции ценности. Возможно, как только люди научатся хорошо строить функции ценности, они будут использовать свои ресурсы продуктивнее.
Если вы найдёте совершенно иной способ обучения моделей, вы можете спросить: «Это масштабирование или просто использование ресурсов?» Я думаю, граница становится немного размытой.
В том смысле, что когда люди были в эпохе исследований раньше, они говорили: «Давайте попробуем это и это. Давайте попробуем то и то. О, посмотрите, происходит что-то интересное». Думаю, к этому и произойдёт возврат.
Если мы вернулись в эпоху исследований, то, делая шаг назад, какую часть рецепта нам следует обдумать в первую очередь?
Когда вы говорите о функции ценности, люди уже пробуют текущий рецепт, используя, например, LLM-as-a-Judge и так далее. Можно сказать, что это функция ценности, но, похоже, у вас на уме нечто гораздо более фундаментальное.
Стоит ли вообще переосмысливать предобучение, а не просто добавлять ещё шаги в конец этого процесса?
ИЛЬЯ:
Обсуждение функции ценности, как мне кажется, было интересным. Я хочу подчеркнуть, что функция ценности, по моему мнению, сделает RL более эффективным, и это имеет значение.
Но я думаю, что всё, чего можно добиться с помощью функции ценности, можно добиться и без неё — просто медленнее.
То, что я считаю наиболее фундаментальным, — это то, что эти модели каким-то образом обобщают гораздо хуже, чем люди. Это совершенно очевидно. Это кажется очень фундаментальной проблемой.
Вот суть вопроса: обобщение.
Есть два подвопроса.
Первый — об эффективности по выборке (sample efficiency): почему моделям нужно так много больше данных для обучения, чем людям?
Второй вопрос — даже отдельно от количества данных: почему так трудно научить модель тому, чему мы хотели бы, по сравнению с обучением человека?
Человеку не обязательно нужна проверяемая награда, чтобы… Вы, вероятно, сейчас наставляете нескольких исследователей, разговариваете с ними, показываете им свой код, показываете, как вы думаете. Из этого они усваивают ваш способ мышления и то, как им следует заниматься исследованиями.
Вам не нужно устанавливать для них проверяемую награду вроде: «Хорошо, это следующая часть учебного плана, а теперь это следующая часть вашего плана. О, это обучение было нестабильным».
Нет этого тягостного, индивидуального процесса.
Возможно, эти две проблемы на самом деле как-то связаны, но мне было бы интересно исследовать вторую — более связанную с непрерывным обучением (continual learning), — и первую, которая больше связана просто с эффективностью по выборке.
ИЛЬЯ (продолжение):
Вы действительно можете задаться вопросом: возможно ли, что одним из объяснений высокой эффективности человека по выборке является эволюция.
Эволюция дала нам небольшое количество самой полезной информации. Для таких вещей, как зрение, слух и локомоция, я думаю, есть довольно веские доводы в пользу того, что эволюция дала нам многое.
Например, ловкость человека намного превосходит… Конечно, роботы тоже могут стать ловкими, если подвергнуть их огромному количеству обучения в симуляции. Но обучить робота в реальном мире быстро освоить новый навык, как это делает человек, кажется совершенно недостижимым.
Здесь можно сказать: «О да, локомоция. Все наши предки нуждались в отличной локомоции, белки и прочие. Так что для локомоции у нас, возможно, есть невероятно сильный априори».
То же можно сказать и о зрении.
Я помню, Янн ЛеКун отмечал, что дети учатся водить машину после 10 часов практики, и это правда.
Но наше зрение настолько хорошо. По крайней мере, я помню себя в пять лет. Я тогда был очень увлечён машинами. Я совершенно уверен, что моё распознавание автомобилей уже в пять лет было более чем достаточным для вождения.
Вы не получаете столько данных в пять лет. Большинство времени вы проводите в доме родителей, так что у вас очень низкое разнообразие данных. Но можно сказать, что, возможно, и это — тоже результат эволюции.
А вот в языке, математике и программировании, вероятно, нет. И всё равно это кажется лучше, чем у моделей.
ВЕДУЩИЙ:
Очевидно, что модели лучше среднего человека в языке, математике и программировании. Но лучше ли они среднего человека в обучении?
ИЛЬЯ:
О да. О да, абсолютно.
Я имел в виду, что язык, математика и программирование — особенно математика и программирование — говорит о том, что то, что делает людей хорошими в обучении, вероятно, не столько сложный априори, сколько что-то более фундаментальное.
ВЕДУЩИЙ:
Я не уверен, что понял. Почему это должно быть так?
Возьмём навык, в котором люди демонстрируют какую-то выдающуюся надёжность. Если этот навык был очень полезен нашим предкам в течение многих миллионов лет, даже сотен миллионов лет, можно утверждать, что, возможно, люди хороши в нём благодаря эволюции — у нас есть априори, эволюционный априори, закодированный каким-то очень непрозрачным образом, который делает нас настолько хорошими в этом.
Но если люди демонстрируют выдающиеся способности, надёжность, устойчивость и способность к обучению в области, которая появилась совсем недавно, это скорее указывает на то, что у людей, возможно, просто лучшее машинное обучение, точка.
ВЕДУЩИЙ (продолжение):
Как нам думать об этом? Какова аналогия в машинном обучении?
Есть несколько интересных моментов.
Требуется меньше выборок. Это более неконтролируемо (надзорно). Ребёнок, учащийся водить машину… Дети не учатся водить машину.
Подросток, учащийся водить машину, не получает какую-то заранее подготовленную, проверяемую награду. Она приходит из его взаимодействия с машиной и окружением.
Требуется намного меньше выборок. Кажется, это более неконтролируемо. Кажется, это более устойчиво? Гораздо более устойчиво.
Устойчивость людей действительно поражает.
Есть ли у вас единый взгляд на то, почему все эти вещи происходят одновременно? Какова аналогия в машинном обучении, которая могла бы реализовать что-то подобное?
ИЛЬЯ:
Один из вопросов, которые вы задаёте, — как подросток-водитель может самокорректироваться и учиться на опыте без внешнего учителя?
Ответ в том, что у него есть своя функция ценности. У него есть общее чувство, которое, кстати, у людей также чрезвычайно устойчиво. Какова бы ни была человеческая функция ценности, за исключением нескольких случаев, таких как зависимость, она на самом деле очень и очень устойчива.
Так что для подростка, учащегося водить, он начинает водить и сразу же уже имеет ощущение, насколько хорошо он водит, насколько плохо, насколько неуверенно.
А затем, конечно, скорость обучения любого подростка настолько высока, что через 10 часов вы готовы.
Кажется, у людей есть какое-то решение, но мне интересно, как они этого добиваются и почему это так трудно? Как нам нужно переосмыслить методы обучения моделей, чтобы сделать нечто подобное возможным?
Это отличный вопрос, и у меня по нему много мнений.
Но, к сожалению, мы живём в мире, где не все идеи машинного обучения обсуждаются открыто, и это одна из таких идей.
Возможно, есть способ сделать это. Я думаю, это возможно. То, что люди таковы, я считаю, доказывает, что это возможно.
Может быть, есть и другое препятствие: существует вероятность, что нейроны человека выполняют больше вычислений, чем мы думаем. Если это так и если это играет важную роль, тогда всё может быть сложнее.
Но в любом случае я действительно думаю, что это указывает на существование некоего принципа машинного обучения, о котором у меня есть мнения. Но, к сожалению, обстоятельства затрудняют подробное обсуждение.

Глава 5: Возвращение в «эпоху исследований»

ВЕДУЩИЙ:
Никто не слушает этот подкаст, Илья.
Мне интересно. Если вы говорите, что мы возвращаемся в эпоху исследований, вы были там с 2012 по 2020. Какой будет атмосфера сейчас при возвращении в эпоху исследований?
Например, даже после AlexNet объём вычислений, использовавшийся для экспериментов, продолжал расти, и размер передовых систем продолжал увеличиваться.
Думаете ли вы, что теперь эта эпоха исследований всё равно потребует огромных вычислительных мощностей? Думаете ли вы, что потребуется вернуться в архивы и читать старые статьи?
Вы были в Google, OpenAI и Стэнфорде — в этих местах, где была больше исследовательская атмосфера? Каких изменений мы должны ожидать в сообществе?
ИЛЬЯ:
Одно из последствий эпохи масштабирования заключается в том, что масштабирование «высосало весь кислород из комнаты». Поскольку масштабирование «высосало весь кислород», все начали делать одно и то же.
Мы дошли до того, что в мире компаний больше, чем идей — и разница довольно велика.
Кстати, есть такая поговорка в Кремниевой долине: «Идеи дешевы, исполнение — всё». Люди часто так говорят, и в этом есть правда.
Но затем я видел, как кто-то написал в Твиттере примерно следующее: «Если идеи такие дешёвые, почему никто их не придумывает?» И я думаю, это тоже правда.
Если думать о прогрессе в исследованиях с точки зрения узких мест (bottlenecks), есть несколько узких мест. Одно из них — идеи, другое — ваша способность воплотить их в жизнь, что может быть вычислительными мощностями, но также и инженерными возможностями.
Если вернуться в 90-е, скажем, у людей были довольно хорошие идеи, и если бы у них были гораздо более мощные компьютеры, возможно, они могли бы продемонстрировать жизнеспособность своих идей. Но они не могли, так что они могли продемонстрировать лишь очень-очень маленькое доказательство, которое никого не убеждало.
Таким образом, узким местом были вычисления.
Затем в эпоху масштабирования вычислительные мощности сильно увеличились. Конечно, есть вопрос о том, сколько вычислений нужно, но их объём велик. Он достаточно велик, чтобы не было очевидно, что вам нужно гораздо больше вычислений для доказательства какой-то идеи.
Приведу аналогию. AlexNet был построен на двух GPU. Это был общий объём вычислений, использованных для него.
Трансформер был построен на 8–64 GPU. Ни один эксперимент в статьях про трансформеры не использовал более 64 GPU 2017 года, что эквивалентно, скажем, двум GPU сегодня?
ResNet, правильно? Можно утверждать, что o1-рассуждения не были самой вычислительно тяжёлой вещью в мире.
Так что для исследований вам, безусловно, нужен определённый объём вычислений, но далеко не очевидно, что вам нужны абсолютно максимальные вычислительные мощности для исследований.
Можно возразить — и я думаю, это верно, — что если вы хотите построить абсолютно лучшую систему, тогда больше вычислений определённо помогает. Особенно если все работают в рамках одной парадигмы, тогда вычисления становятся одним из главных факторов различия.
ВЕДУЩИЙ:
Я спрашиваю вас об истории, потому что вы были там. Я не уверен, что на самом деле произошло. Похоже, эти идеи можно было разработать, используя минимальные вычислительные мощности.
Но трансформер не сразу стал знаменитым. Он стал тем, чем все начали заниматься, экспериментировать и строить на нём, только когда его проверили на всё более высоких уровнях вычислительных мощностей.
ИЛЬЯ:
Верно.
И если в SSI у вас 50 разных идей, как вы узнаете, какая из них станет следующим трансформером, а какая окажется хрупкой, не имея того объёма вычислений, которым обладают другие передовые лаборатории?
ИЛЬЯ (продолжение):
Могу прокомментировать это. Короткий комментарий: вы упомянули SSI. Конкретно у нас объём вычислений для исследований на самом деле не так уж мал.
Я объясню, почему. Простая математика может объяснить, почему объём вычислений, который у нас есть, сопоставим с тем, что может показаться на первый взгляд. Я объясню.
SSI привлекла 3 миллиарда долларов, что много в абсолютном выражении. Но можно сказать: «Посмотрите, другие компании привлекают гораздо больше». Однако значительная часть их вычислений идёт на вывод (inference). Эти огромные суммы, эти крупные займы — они предназначены для вывода. Это первое.
Второе: если вы хотите иметь продукт, на котором вы делаете вывод, вам нужен большой штат инженеров, продавцов. Значительная часть исследований должна быть направлена на создание всевозможных функций, связанных с продуктом.
Так что когда вы смотрите, что действительно остаётся на исследования, разница становится гораздо меньше.
Ещё один момент: если вы делаете что-то иное, действительно ли вам нужны абсолютно максимальные масштабы для доказательства? Я вообще не думаю, что это верно.
Я думаю, что в нашем случае у нас достаточно вычислений, чтобы убедить себя и других в том, что то, чем мы занимаемся, верно.
ВЕДУЩИЙ:
Были публичные оценки, что такие компании, как OpenAI, тратят порядка 5–6 миллиардов долларов в год только на эксперименты. Это отдельно от денег, которые они тратят на вывод и так далее.
Так что кажется, что они тратят в год на исследовательские эксперименты больше, чем у вас есть всего финансирования.
ИЛЬЯ:
Я думаю, это вопрос того, чем вы это используете. Это вопрос того, чем вы это используете.
В их случае, в случае других, гораздо выше спрос на обучающие вычисления. Гораздо больше разных направлений работ, разных модальностей, просто больше всего. Поэтому всё фрагментируется.

Глава 6: Стратегия SSI — Сверхразум, безопасность и постепенность

ВЕДУЩИЙ:
Как SSI будет зарабатывать деньги?
ИЛЬЯ:
Мой ответ на этот вопрос примерно такой. Сейчас мы просто сосредоточены на исследованиях, и тогда ответ на этот вопрос прояснится сам собой. Думаю, возможных ответов будет много.
ВЕДУЩИЙ:
План SSI всё ещё направлен прямо на создание сверхразума (superintelligence)?
ИЛЬЯ:
Возможно. Я думаю, в этом есть смысл. Я думаю, в этом много смысла, потому что очень приятно не подвергаться ежедневной рыночной конкуренции.
Но я думаю, есть две причины, по которым мы можем изменить план. Первая — прагматичная: если сроки окажутся длинными, а так может и быть.
Вторая: я думаю, что существует большая ценность в том, чтобы самый лучший и самый мощный ИИ воздействовал на мир. Я думаю, это ощутимо ценная вещь.
ВЕДУЩИЙ:
Тогда почему ваш стандартный план — идти прямо к сверхразуму? Ведь, похоже, OpenAI, Anthropic и все эти компании явно думают: «Смотрите, у нас появляются всё более и более слабые разумы, к которым общественность может привыкнуть и подготовиться».
Почему потенциально лучше строить сверхразум напрямую?
ИЛЬЯ:
Я изложу аргументы за и против.
Аргумент за заключается в том, что одна из проблем, с которыми сталкиваются люди на рынке, — необходимость участвовать в «крысиной гонке». Эта гонка довольно трудна, поскольку подвергает вас сложным компромиссам, которые вам нужно делать.
Приятно сказать: «Мы изолируем себя от всего этого и просто сосредоточимся на исследованиях, и выйдем только тогда, когда будем готовы, и не раньше».
Но встречный аргумент тоже справедлив, и это противоборствующие силы.
Встречный аргумент: «Эй, миру полезно увидеть мощный ИИ. Миру полезно увидеть мощный ИИ, потому что это единственный способ его продемонстрировать».
Ну, я имею в виду не просто идею —
ВЕДУЩИЙ:
Продемонстрировать сам ИИ, а не идею.
ИЛЬЯ:
Продемонстрировать ИИ.
ВЕДУЩИЙ:
Что вы имеете в виду под «продемонстрировать ИИ»?
ИЛЬЯ:
Предположим, вы пишете эссе об ИИ, и в эссе говорится: «ИИ будет таким-то, и таким-то, и таким». Вы читаете его и говорите: «Хорошее эссе».
Теперь представьте, что вы видите ИИ, который делает это, ИИ, который делает то. Это несравнимо.
Я думаю, что существует большая польза от того, чтобы ИИ был публичным, и это была бы причина для нас не идти строго напрямую.
Я имею в виду даже не это, но я действительно думаю, что это важная часть.
Другая важная вещь: я не могу вспомнить другой дисциплины в инженерии и исследованиях, где конечный артефакт делался бы безопаснее в основном за счёт размышлений о том, как сделать его безопасным, в отличие от того, почему сегодня количество авиакатастроф на милю так сильно ниже, чем десятилетия назад.
Почему сегодня так трудно найти баг в Linux по сравнению с тем, как это было десятилетия назад? Я думаю, это в основном потому, что эти системы были развёрнуты в мире. Вы замечали сбои, эти сбои исправлялись, и системы становились более устойчивыми.
Я не уверен, почему с ИИ и сверхчеловеческим интеллектом должно быть иначе, особенно учитывая — и я надеюсь, мы к этому придём — что вред от сверхразума не только в том, что где-то будет злобный «скрепочник» (paperclipper).
Но это очень мощная вещь, и мы даже не знаем, как представить себе, как люди будут взаимодействовать с ней, что люди будут с ней делать.
Постепенный доступ к ней кажется лучшим способом, возможно, растянуть её воздействие и помочь людям подготовиться к нему.
ИЛЬЯ (продолжение):
Что ж, я думаю, даже в сценарии прямого удара вы всё равно будете постепенно выпускать его — так я это себе представляю. Постепенность будет неотъемлемой частью любого плана.
Просто вопрос в том, что будет первым, что вы выпустите. Это первое.
Второе: я считаю, что вы больше других выступали за непрерывное обучение, и я действительно думаю, что это важная и правильная вещь.
Вот почему.
Приведу ещё один пример того, как язык влияет на мышление. В данном случае это будут два слова, которые, как я утверждаю, сформировали мышление всех.
Первое слово: ИИО (AGI — искусственный общий интеллект).
Второе слово: предобучение (pre-training).
Позвольте объяснить.
Почему существует термин ИИО? Это очень специфический термин. Почему он существует? На это есть причина.
Причина существования термина ИИО, по моему мнению, не столько в том, что это очень важный, существенный дескриптор некоего конечного состояния интеллекта, сколько в том, что это реакция на другой существовавший термин — а именно узкий ИИ (narrow AI).
Если вернуться к древней истории игр и ИИ — в шашки, шахматы, компьютерные игры — все говорили: посмотрите на этот узкий интеллект. Конечно, шахматный ИИ побеждает Каспарова, но ничего другого он не умеет. Он настолько узок, искусственный узкий интеллект.
В ответ, как реакция на это, некоторые люди сказали: этого недостаточно. Он настолько узок. Нам нужен общий ИИ — ИИ, который может просто делать всё. Этот термин прижился.
Вторая вещь, получившая распространение, — предобучение, в частности рецепт предобучения.
Я думаю, то, как люди сегодня делают RL, возможно, стирает концептуальный след предобучения.
Но у предобучения было это свойство: вы делаете больше предобучения, и модель становится лучше во всём, более или менее равномерно.
Общий ИИ. Предобучение даёт ИИО.
Но то, что произошло с ИИО и предобучением, — это то, что в некотором смысле они перестрелили цель.
Если подумать о термине ИИО, особенно в контексте предобучения, вы поймёте, что человек — это не ИИО.
Да, есть определённый фундамент навыков, но человеку не хватает огромного объёма знаний. Вместо этого мы полагаемся на непрерывное обучение.
Так что когда вы думаете: «Хорошо, предположим, нам удаётся и мы создаём какой-то безопасный сверхразум».
Вопрос в том, как вы его определяете. Где на кривой непрерывного обучения он будет находиться?
Я создаю сверхразумного 15-летнего подростка, очень жаждущего деятельности. Он почти ничего не знает, отличный ученик, очень жаждущий. Иди и стань программистом, иди и стань врачом, иди и учись.
Так что вы можете представить, что развёртывание само по себе будет включать некий период обучения, проб и ошибок. Это процесс, а не просто выбрасывание готовой вещи.
ВЕДУЩИЙ:
Понятно. Вы предлагаете, что та сущность, которую вы называете сверхразумом, — это не законченный разум, который умеет делать каждую работу в экономике.
Потому что, например, в оригинальной хартии OpenAI или где-то там ИИО определяется как нечто, что может делать любую работу, любую вещь, которую может делать человек.
Вы предлагаете вместо этого разум, который может научиться выполнять любую работу, и это и есть сверхразум.
ИЛЬЯ:
Да. Но как только у вас есть алгоритм обучения, он развёртывается в мире так же, как человек-работник может присоединиться к организации.
ВЕДУЩИЙ:
Точно.
Кажется, может произойти одна из двух вещей, а может, и ни одна.
Первая: этот сверхэффективный алгоритм обучения становится сверхчеловеческим, становится настолько хорошим, как вы, и потенциально даже лучше в задаче ML-исследований. В результате сам алгоритм становится всё более и более сверхчеловеческим.
Вторая: даже если этого не происходит, если у вас есть одна модель — это, по сути, ваше видение, — экземпляры которой развёрнуты по экономике, выполняют разные задачи, непрерывно обучаются на рабочем месте, осваивают все навыки, которые может освоить любой человек, но осваивают их все одновременно, а затем объединяют своё обучение — вы в итоге получаете модель, которая функционально становится сверхразумной даже без какого-либо рекурсивного самоулучшения в программном обеспечении.
Потому что теперь у вас есть одна модель, которая может выполнять любую работу в экономике, а люди не могут объединять свои разумы подобным образом.
Так вы ожидаете какого-то взрыва интеллекта от широкого развёртывания?
ИЛЬЯ:
Я думаю, весьма вероятно, что у нас будет быстрый экономический рост. Я думаю, при широком развёртывании есть два аргумента, которые противоречат друг другу.
Один: как только вы действительно достигнете точки, где у вас есть ИИ, который может быстро учиться, и у вас есть много таких ИИ, тогда будет сильная сила, стремящаяся развёртывать их в экономике, если только не появится какое-то регулирование, которое это остановит — а, кстати, оно может появиться.
Но идея очень быстрого экономического роста какое-то время, я думаю, вполне возможна при широком развёртывании.
Вопрос в том, насколько быстрым он будет. Это трудно знать, потому что с одной стороны у вас есть этот очень эффективный работник, а с другой — мир просто очень велик, и в нём много всего, и это всё движется с другой скоростью.
Но затем, с другой стороны, теперь ИИ может…
Так что я думаю, очень быстрый экономический рост возможен. Мы увидим всевозможные вещи — разные страны с разными правилами, и те, у кого правила дружелюбнее, будут расти быстрее. Трудно предсказать.
ВЕДУЩИЙ:
Мне кажется, это очень шаткая ситуация.
В пределе мы знаем, что это должно быть возможно. Если у вас есть нечто, что так же хорошо учится, как человек, но может объединять свои разумы — объединять разные экземпляры так, как люди не могут объединять — уже это кажется физически возможным. Люди возможны, цифровые компьютеры возможны.
Вам просто нужно объединить оба этих свойства, чтобы получить эту сущность.
Это также кажется чрезвычайно мощной вещью. Экономический рост — один из способов выразить это. Сфера Дайсона — это много экономического роста.
Но другой способ — это то, что у вас может быть, потенциально за очень короткий период времени… Вы нанимаете людей в SSI, и через шесть месяцев они уже приносят чистую пользу, вероятно. Человек учится очень быстро, и эта сущность становится умнее и умнее очень быстро.
Как вы думаете о том, чтобы сделать это хорошо? Почему SSI лучше других подходит для этого? В чём план SSI — по сути, вот что я пытаюсь спросить.
ИЛЬЯ:
Один из способов, в котором моё мышление менялось, — это то, что я теперь придаю больше значения постепенному и заблаговременному развёртыванию ИИ.
Одна очень трудная вещь в ИИ — это то, что мы говорим о системах, которых ещё не существует, и их трудно вообразить.
Я думаю, одна из вещей, которая происходит, — это то, что практически невозможно почувствовать ИИО. Очень трудно почувствовать ИИО. Мы можем говорить об этом, но представьте, как вы говорите о том, каково это — быть старым, когда вы стары и немощны.
Вы можете вести разговор, можете попытаться представить это, но это просто трудно, и вы возвращаетесь к реальности, где это не так.
Я думаю, многие проблемы вокруг ИИО и его будущей мощи связаны с тем, что его очень трудно вообразить.
Будущий ИИ будет другим. Он будет мощным. Действительно, в чём проблема ИИ и ИИО? Вся проблема — в мощи. Вся проблема — в мощи.
Когда мощь действительно велика, что произойдёт?
Один из способов, в котором моё мышление менялось за прошедший год — и это изменение, я оговорюсь, может повлиять на планы нашей компании — состоит в том, что если трудно вообразить, что делать?
Вы должны показывать эту вещь. Вы должны показывать эту вещь.
Я утверждаю, что большинство людей, работающих с ИИ, также не могут его вообразить, потому что он слишком отличается от того, с чем люди сталкиваются ежедневно.
Я утверждаю следующее — это прогноз.
Я утверждаю, что по мере того, как ИИ становится мощнее, поведение людей изменится. Мы увидим всевозможные беспрецедентные вещи, которых сейчас не происходит.
Я приведу несколько примеров.
Я думаю, что, к лучшему или худшему, ведущие компании сыграют очень важную роль в том, что произойдёт, как и правительства.
То, что, по моему мнению, мы увидим — и мы уже видим зачатки — это компании, которые являются жёсткими конкурентами, начинающие сотрудничать по безопасности ИИ. Возможно, вы видели, как OpenAI и Anthropic сделали первый маленький шаг, но раньше этого не было.
Это то, что я предсказывал в одной из моих лекций три года назад — такое произойдёт.
Я также утверждаю, что по мере того, как ИИ продолжит становиться мощнее, более видимо мощным, также появится желание со стороны правительств и общественности что-то сделать.
Я думаю, это очень важная сила — показывать ИИ. Это первое.
Второе: хорошо, ИИ строится.
Что нужно сделать? Одна вещь, которую, по моему мнению, произойдёт: сейчас люди, работающие с ИИ, я утверждаю, что ИИ не кажется им мощным из-за его ошибок.
Я действительно думаю, что в какой-то момент ИИ начнёт действительно казаться мощным. Я думаю, когда это произойдёт, мы увидим большое изменение в подходе всех компаний к безопасности. Они станут гораздо более параноидальными.
Я говорю об этом как о прогнозе, который, как я думаю, произойдёт. Посмотрим, прав ли я.
Но я думаю, это произойдёт, потому что они увидят, как ИИ становится мощнее.
Всё, что происходит сейчас, я утверждаю, происходит потому, что люди смотрят на сегодняшний ИИ, и им трудно вообразить будущий ИИ.
Есть ещё третья вещь, которая должна произойти.
Я говорю об этом в более широких терминах, не только с точки зрения SSI, потому что вы спросили меня о нашей компании.
Вопрос в том, к чему должны стремиться компании? К чему они должны стремиться?
Существовала одна большая идея, в которую все были заперты: самосовершенствующийся ИИ. Почему это произошло? Потому что идей меньше, чем компаний.
Но я утверждаю, что есть нечто, что лучше строить, и я думаю, все этого захотят.
Это ИИ, надёжно выровненный (robustly aligned) на заботу о чувствующей жизни (sentient life) в частности.
Я думаю, в частности, есть аргумент в пользу того, что будет легче построить ИИ, который заботится о чувствующей жизни, чем ИИ, который заботится только о человеческой жизни, потому что сам ИИ будет чувствующим.
И если подумать о таких вещах, как зеркальные нейроны и человеческая эмпатия к животным — можно утверждать, что её недостаточно, но она существует.
Я думаю, это возникающее свойство (emergent property) от того факта, что мы моделируем других теми же цепями, что и самих себя, потому что это наиболее эффективно.
ВЕДУЩИЙ:
Даже если вы заставите ИИ заботиться о чувствующих существах — и не совсем ясно, что это то, к чему вы должны стремиться, даже если решите проблему выравнивания (alignment) — всё равно окажется, что большинство чувствующих существ будут ИИ. В конечном итоге их будут триллионы, потом квадриллионы. Людей будет очень малая доля чувствующих существ.
Так что неясно, если цель — сохранить какой-то контроль человека над этим будущим обществом, является ли это лучшим критерием.
ИЛЬЯ:
Верно. Возможно, это не лучший критерий.
Скажу две вещи.
Первая: забота о чувствующей жизни, я думаю, в этом есть смысл. Это стоит рассмотреть. Я думаю, было бы полезно, если бы существовал некий короткий список идей, которые компании могли бы использовать, когда окажутся в такой ситуации. Это второе.
Третье: я думаю, было бы реально полезно, если бы мощь самого мощного сверхразума была как-то ограничена, потому что это решило бы многие из этих проблем.
Вопрос о том, как это сделать, я не знаю, но я думаю, это реально помогло бы, когда вы говорите о по-настоящему, по-настоящему мощных системах.

Глава 7: Что такое сверхразум? Мощь, пределы и равновесие

ВЕДУЩИЙ:
Прежде чем продолжим обсуждение выравнивания, я хочу подробнее остановиться на этом. Сколько места наверху? Как вы думаете о сверхразуме?
Думаете ли вы, что, используя эту идею эффективности обучения, он просто чрезвычайно быстро учится новым навыкам или знаниям?
Или у него просто больший пул стратегий? Существует ли единый связный «он» в центре, который мощнее или больше?
Если да, представляете ли вы его как божественного по сравнению с остальной человеческой цивилизацией, или он просто ощущается как другой агент или кластер агентов?
ИЛЬЯ:
Это область, где разные люди имеют разные интуиции. Я думаю, он будет очень мощным, точно.
Что наиболее вероятно, по моему мнению, — это то, что будет создано несколько таких ИИ примерно в одно и то же время.
Я думаю, если кластер достаточно велик — например, если кластер буквально размером с континент — эта сущность может быть действительно мощной, несомненно.
Если у вас буквально есть кластер размером с континент, такие ИИ могут быть очень мощными.
Всё, что я могу сказать, — если вы говорите о чрезвычайно мощных ИИ, действительно драматически мощных, было бы неплохо, если бы их можно было как-то сдержать или если бы существовало какое-то соглашение или что-то подобное.
В чём заключается проблема сверхразума? Как объяснить проблему?
Если представить систему, которая достаточно мощна — действительно достаточно мощна — и вы можете сказать, что нужно сделать нечто разумное, например, заботиться о чувствующей жизни очень целенаправленно, — нам могут не понравиться результаты.
В этом и заключается суть.
Может быть, кстати, ответ в том, что вы не строите агента RL в обычном смысле.
Я отмечу несколько вещей. Я думаю, люди — это полу-агенты RL. Мы преследуем награду, а затем эмоции или что-то ещё заставляют нас уставать от награды, и мы преследуем другую награду.
Рынок — это очень близорукий агент. Эволюция — то же самое. Эволюция очень умна в некоторых отношениях, но очень глупа в других.
Правительство было сконструировано как никогда не прекращающаяся борьба между тремя ветвями, и это имеет эффект.
Так что я думаю, подобные вещи.
Ещё одна вещь, делающая это обсуждение трудным, — это то, что мы говорим о системах, которых не существует, которые мы не знаем, как построить. Это другая вещь, и это на самом деле моё убеждение.
Я думаю, то, что люди делают сейчас, пройдёт некоторое расстояние, а затем иссякнет. Оно будет продолжать улучшаться, но также не будет «тем самым».
«Тем самым» мы не знаем, как построить, и многое зависит от понимания надёжной обобщаемости (reliable generalization).
Скажу ещё одну вещь.
Одна из вещей, которую можно сказать о том, что делает выравнивание трудным, — это то, что ваша способность учиться человеческим ценностям хрупка. Затем ваша способность оптимизировать их также хрупка.
Вы на самом деле учитесь их оптимизировать. И нельзя ли сказать: «Разве всё это не примеры ненадёжной обобщаемости?»
Почему так получается, что люди обобщают намного лучше?
Что, если бы обобщаемость была намного лучше? Что бы тогда произошло? Каков был бы эффект?
Но эти вопросы сейчас всё ещё не имеют ответа.
ВЕДУЩИЙ:
Как думать о том, как должно выглядеть «всё хорошо» с ИИ? Вы описали, как ИИ может развиваться. У нас будут такие агенты непрерывного обучения. ИИ будет очень мощным. Возможно, будет много разных ИИ.
Как вы думаете о множестве интеллектов на континентальных кластерах вычислений, которые бродят повсюду? Насколько это опасно? Как сделать это менее опасным? И как сделать это так, чтобы защитить равновесие, где могут быть несогласованные (misaligned) ИИ и плохие акторы?
ИЛЬЯ:
Вот одна причина, почему мне нравится «ИИ, заботящийся о чувствующей жизни». Мы можем спорить, хороша она или плоха.
Но если первые N таких драматических систем действительно будут заботиться, любить человечество или что-то в этом роде, заботиться о чувствующей жизни — конечно, это тоже нужно достичь. Это нужно достичь.
Так что если это достигнуто первыми N такими системами, тогда я могу представить, как всё пойдёт хорошо, по крайней мере, довольно долгое время.
Затем возникает вопрос о том, что происходит в долгосрочной перспективе. Как достичь долгосрочного равновесия?
Я думаю, здесь тоже есть ответ. Мне не нравится этот ответ, но его нужно рассмотреть.
В долгосрочной перспективе можно сказать: «Хорошо, если у вас есть мир, где существуют мощные ИИ, в краткосрочной перспективе можно сказать, у вас всеобщий высокий доход. У вас всеобщий высокий доход, и нам всем хорошо».
Но что говорят буддисты? «Изменение — единственный постоянный фактор».
Всё меняется. Существует какая-то форма правления, политическая структура, и она меняется, потому что у таких вещей есть срок годности. Появляется какая-то новая форма правления, она функционирует, а затем через какое-то время перестаёт функционировать.
Это то, что мы наблюдаем постоянно.
Так что я думаю, для долгосрочного равновесия один подход заключается в том, что, возможно, каждый человек будет иметь ИИ, который будет исполнять его волю, и это хорошо.
Если бы это можно было поддерживать неопределённо долго, это было бы правдой.
Но недостаток этого в том, что тогда ИИ идёт и зарабатывает деньги за человека, отстаивает его интересы в политической сфере, и, возможно, потом пишет небольшой отчёт: «Вот что я сделал, вот ситуация», и человек говорит: «Отлично, продолжай».
Но человек больше не участвует. Тогда можно сказать, что это шаткое положение.
Я заранее оговорюсь, что мне не нравится это решение, но это решение.
Решение — если люди станут частично ИИ с помощью какого-то Neuralink++. Потому что тогда произойдёт следующее: теперь ИИ что-то понимает, и мы это тоже понимаем, потому что теперь понимание передаётся целиком.
Так что теперь, если ИИ находится в какой-то ситуации, вы сами полностью участвуете в этой ситуации. Я думаю, это ответ на равновесие.

Глава 8: Эволюция, выравнивание и жёстко заданные желания

ВЕДУЩИЙ:
Мне интересно, является ли тот факт, что эмоции, сформировавшиеся миллионы — а во многих случаях миллиарды — лет назад в совершенно иной среде, до сих пор так сильно управляют нашими действиями, примером успеха выравнивания.
Чтобы пояснить, что я имею в виду: не знаю, точнее ли называть это функцией ценности или функцией награды, но в стволе мозга есть директива: «Спаривайся с кем-то более успешным».
Кора — это часть, которая понимает, что такое успех в современном контексте. Но ствол мозга способен выровнять кору и сказать: «Как бы ты ни распознавал успех — и я недостаточно умён, чтобы понять, что это такое — ты всё равно будешь следовать этой директиве».
ИЛЬЯ:
Я думаю, есть более общая идея. Я думаю, на самом деле очень загадочно, как эволюция кодирует высокоуровневые желания.
Довольно легко понять, как эволюция наделяет нас желанием еды, которая пахнет хорошо, потому что запах — это химия, так что просто преследуй этот химический сигнал. Очень легко представить, как эволюция делает это.
Но эволюция также наделила нас всеми этими социальными желаниями. Нам действительно важно, чтобы нас позитивно воспринимало общество. Нам важно быть в хорошем положении.
Все эти социальные интуиции, которые у нас есть, я сильно чувствую, что они заложены. Я не знаю, как эволюция это сделала, потому что это высокоуровневое понятие, представленное в мозге.
Скажем, вам важно какое-то социальное явление — это не низкоуровневый сигнал вроде запаха. Это не то, для чего есть сенсор.
Мозгу нужно проделать большую работу, чтобы собрать множество битов информации и понять, что происходит в социальном плане.
Каким-то образом эволюция сказала: «Вот чему ты должен придавать значение». Как она это сделала? И сделала довольно быстро.
Все эти сложные социальные вещи, которые нас волнуют, я думаю, эволюционировали довольно недавно.
Эволюции было легко жёстко закодировать это высокоуровневое желание. Я не знаю хорошей гипотезы о том, как это было сделано.
У меня были некоторые идеи, которые я обдумывал, но ни одна из них не удовлетворяет.
ВЕДУЩИЙ:
Что особенно впечатляет, так это то, что желание, которое вы усваиваете за жизнь, имеет смысл, потому что ваш мозг умён. Имеет смысл, почему вы можете учиться разумным желаниям.
Возможно, это не ваша мысль, но один из способов понять это — сказать, что желание заложено в геноме, а геном не умён.
Но каким-то образом вы можете описать эту особенность. Даже неясно, как вы определяете эту особенность, и вы можете заложить её в гены.
По сути, или, может быть, иначе: если вы думаете об инструментах, доступных геному, он говорит: «Вот рецепт построения мозга».
Можно сказать: «Вот рецепт соединения дофаминовых нейронов с датчиком запаха». И если запах — определённого хорошего типа, вы хотите это съесть. Я могу представить, как геном делает это.
Я утверждаю, что труднее представить. Труднее представить, как геном говорит: вам следует заботиться о каком-то сложном вычислении, которое выполняет весь ваш мозг, большая его часть.
Вот всё, что я утверждаю.
ИЛЬЯ:
Могу предложить гипотезу о том, как это может быть сделано.
Позвольте предложить гипотезу и объяснить, почему она, вероятно, неверна.
У мозга есть области. У нас есть кора. В ней есть все эти области. Кора однородна, но области мозга и нейроны в коре в основном общаются со своими соседями.
Это объясняет, почему у вас есть области мозга. Потому что, если вы хотите обрабатывать речь, все нейроны, обрабатывающие речь, должны общаться друг с другом. И поскольку нейроны могут общаться в основном только со своими ближайшими соседями, это должно быть областью.
Все области в основном расположены в одних и тех же местах у всех людей.
Так что, возможно, эволюция буквально жёстко закодировала местоположение в мозге. То есть она говорит: «О, когда нейроны по таким-то GPS-координатам мозга активируются, вот чему ты должен придавать значение».
Может быть, это то, что сделала эволюция, потому что это было бы в пределах её возможностей.
ВЕДУЩИЙ:
Да, хотя есть примеры, когда, например, люди, рождённые слепыми, имеют эту область коры, захваченную другим чувством.
Я понятия не имею, но я был бы удивлён, если бы желания или функции награды, требующие визуального сигнала, перестали работать у людей, у которых разные области коры захвачены другими функциями.
Например, если у вас больше нет зрения, можете ли вы всё ещё чувствовать, что хотите, чтобы окружающие вас люди вас любили и так далее, для чего обычно также есть визуальные признаки.
ИЛЬЯ:
Я полностью согласен с этим.
Я думаю, есть ещё более сильный контраргумент против этой теории.
Есть люди, у которых в детстве удаляют половину мозга, и у них всё ещё есть все области мозга. Но они каким-то образом перемещаются в одно полушарие, что говорит о том, что местоположение областей мозга не фиксировано, и поэтому эта теория неверна.
Было бы здорово, если бы она была верна, но она не верна.
Так что я думаю, это загадка. Но интересная загадка.
Факт в том, что каким-то образом эволюция очень надёжно наделила нас заботой о социальных вещах. Даже люди со всевозможными странными психическими состояниями, недостатками и эмоциональными проблемами, как правило, тоже заботятся об этом.

Глава 9: Отличие SSI, схождение и прогноз

ВЕДУЩИЙ:
Что SSI планирует делать иначе? Предположительно, ваш план — быть одной из ведущих компаний, когда наступит это очень важное время в истории человечества, когда появится сверхчеловеческий интеллект.
Предположительно, вы основали SSI, потому что подумали: «Я думаю, у меня есть способ безопасно подойти к этому, которого нет у других компаний».
В чём это отличие?
ИЛЬЯ:
Я бы описал это так: есть некоторые идеи, которые, как мне кажется, многообещающи, и я хочу исследовать их и посмотреть, действительно ли они многообещающи. И всё.
Это попытка. Если идеи окажутся верными — эти идеи, которые мы обсуждали вокруг понимания обобщаемости, — тогда, думаю, у нас будет что-то стоящее.
Окажутся ли они верными? Мы занимаемся исследованиями. Мы полностью являемся компанией «эпохи исследований». Мы добиваемся прогресса. За прошлый год мы действительно добились неплохого прогресса, но нам нужно продолжать добиваться большего прогресса, больше исследований.
Вот как я это вижу. Я вижу в этом попытку быть голосом и участником.
ВЕДУЩИЙ:
Ваш соучредитель и бывший генеральный директор недавно ушёл в Meta, и люди спрашивали: «Ну, если бы были значительные прорывы, это, кажется, было бы маловероятно».
Мне интересно, как вы на это отвечаете.
ИЛЬЯ:
На это я просто напомню несколько фактов, которые, возможно, забылись. Я думаю, эти факты, дающие контекст, объясняют ситуацию.
Контекст был в том, что мы вели переговоры о финансировании при оценке в 32 миллиарда долларов, а затем Meta предложила нас приобрести, и я ответил «нет».
Но мой бывший соучредитель, в некотором смысле, ответил «да». В результате он также смог получить много ликвидности в ближайшей перспективе, и он был единственным человеком из SSI, перешедшим в Meta.
ВЕДУЩИЙ:
Похоже, план SSI — быть компанией на передовом крае, когда наступит этот очень важный период в истории человечества, когда появится сверхчеловеческий интеллект.
У вас есть эти идеи о том, как сделать так, чтобы сверхчеловеческий интеллект пошёл на пользу. Но другие компании будут пробовать свои собственные идеи.
Чем отличается подход SSI к тому, чтобы сверхразум пошёл на пользу?
ИЛЬЯ:
Главное, что отличает SSI, — это её технический подход. У нас другой технический подход, который, как мне кажется, достоин внимания, и мы его реализуем.
Я утверждаю, что в конечном итоге произойдёт схождение стратегий.
Я думаю, произойдёт схождение стратегий, где в какой-то момент, по мере того как ИИ станет мощнее, станет более-менее ясно всем, какой должна быть стратегия.
Она должна быть примерно такой: вам нужно найти способ общаться друг с другом, и вы хотите, чтобы ваш первый настоящий сверхразумный ИИ был выровнен и как-то заботился о чувствующей жизни, заботился о людях, был демократичным — что-то одно из этого, или комбинация.
Я думаю, это то условие, к которому должны стремиться все. К этому стремится SSI. Я думаю, что в это время, если не уже сейчас, все остальные компании поймут, что они стремятся к тому же.
Посмотрим. Я думаю, мир действительно изменится, когда ИИ станет мощнее. Я думаю, всё будет по-другому, и люди будут действовать совсем иначе.
ВЕДУЩИЙ:
Говоря о прогнозах, какие у вас прогнозы по этой системе, которую вы описываете — способной учиться так же хорошо, как человек, и, следовательно, впоследствии стать сверхчеловеческой?
ИЛЬЯ:
Я думаю, от 5 до 20.
ВЕДУЩИЙ:
5–20 лет?
ИЛЬЯ:
Мм.
ВЕДУЩИЙ:
Я просто хочу развернуть, как вы, возможно, видите, как мир будет развиваться.
Это как: у нас есть ещё пара лет, когда эти другие компании продолжают текущий подход, и он иссякает.
«Иссякает» здесь означает, что они зарабатывают не более нескольких сотен миллиардов дохода? Как вы думаете о том, что значит «иссякнуть»?
ИЛЬЯ:
Я думаю, «иссякание» будет выглядеть одинаково у всех компаний.
Это может быть примерно так. Я не уверен, потому что даже при «иссякании», думаю, эти компании могут получать ошеломляющий доход. Может, не прибыль, потому что им нужно будет усердно работать, чтобы отличаться друг от друга, но доход точно.
ВЕДУЩИЙ:
Но что-то в вашей модели подразумевает, что когда правильное решение появится, произойдёт схождение между всеми компаниями. Мне интересно, почему вы так думаете.
ИЛЬЯ:
Я говорил больше о схождении в стратегиях выравнивания.
Я думаю, в конечном итоге произойдёт и схождение в техническом подходе, но я имел в виду схождение в стратегиях выравнивания.
Что именно нужно сделать?
ВЕДУЩИЙ:
Я просто хочу лучше понять, как вы видите, как разворачивается будущее.
Сейчас у нас есть эти разные компании, и вы ожидаете, что их подход будет продолжать приносить доход, но не достигнет этого «похожего на человека» обучаемого агента.
Теперь у нас есть разные ветви компаний. У вас, у Thinking Machines, есть куча других лабораторий.
Может быть, одна из них найдёт правильный подход.
Но тогда выпуск их продукта сделает ясным другим людям, как делать эту вещь.
ИЛЬЯ:
Я думаю, как это сделать не станет ясно, но станет ясно, что возможно нечто иное, и это — информация. Люди затем будут пытаться понять, как это работает.
Я действительно думаю, однако, что одна из необсуждённых здесь вещей — это то, что с каждым увеличением возможностей ИИ, думаю, будут какие-то изменения — но я не знаю точно какие — в том, как делаются вещи.
Я думаю, это будет важно, хотя и не могу точно сказать, что именно.
ВЕДУЩИЙ:
По умолчанию вы ожидаете, что компания, у которой есть эта модель, получит все эти выгоды, потому что у неё есть модель, которая накапливает навыки и знания в мире.
Какова причина думать, что выгоды от этого будут широко распределены, а не просто достанутся той компании, которая первой запустит цикл непрерывного обучения?
ИЛЬЯ:
Вот что, по моему мнению, произойдёт.
Первое: давайте посмотрим, как всё шло до сих пор с ИИ прошлого. Одна компания делала прорыв, другая компания спешила и через какое-то время создавала что-то подобное, начинали конкурировать на рынке и снижать цены.
Так что я думаю, с рыночной точки зрения нечто подобное произойдёт и там.
Мы говорим о хорошем мире, кстати.
ВЕДУЩИЙ:
Что такое «хороший мир»?
ИЛЬЯ:
Это мир, где у нас есть эти мощные «похожие на человека» обучаемые агенты, которые также…
Кстати, возможно, есть ещё одна вещь, которую мы не обсудили в спецификации сверхразумного ИИ, и она, думаю, стоит рассмотрения.
Это то, что вы делаете его узким — он может быть полезен и узок одновременно. Вы можете иметь много узких сверхразумных ИИ.
Но предположим, у вас есть много таких ИИ, и у вас есть компания, приносящая огромную прибыль.
Затем появляется другая компания и начинает конкурировать.
Конкуренция будет работать через специализацию. Конкуренции нравится специализация.
Вы видите это на рынке, вы видите это и в эволюции. Будет много разных ниш, и много разных компаний, занимающих разные ниши.
В этом мире можно сказать, что одна компания ИИ действительно намного лучше в какой-то области очень сложной экономической деятельности, другая компания лучше в другой области. А третья компания отлично разбирается в судебных процессах.
ВЕДУЩИЙ:
Разве это не противоречит тому, что подразумевает обучение, подобное человеческому? Ведь оно может учиться…
ИЛЬЯ:
Может, но у вас есть накопленное обучение. У вас есть большие вложения. Вы потратили много вычислений, чтобы стать действительно, действительно хорошим, действительно феноменальным в этом.
Кто-то другой потратил огромное количество вычислений и огромный опыт, чтобы стать действительно хорошим в чём-то другом.
Вы применяете много человеческого обучения, чтобы достичь этого, но теперь вы находитесь на этой высокой точке, где другой человек скажет: «Смотри, я не хочу начинать учиться тому, чему научился ты».
ВЕДУЩИЙ:
Я думаю, это потребовало бы, чтобы многие разные компании начали с «похожего на человека» обучаемого агента одновременно, чтобы они могли начать свои разные деревья поиска в разных ветвях.
Но если одна компания получит этого агента первой или первая получит этого обучаемого, тогда, похоже…
Ну, если просто подумать обо всех работах в экономике, иметь экземпляр, обучающийся каждой из них, кажется выполнимым для компании.
ИЛЬЯ:
Это весомый аргумент. Моё сильное интуитивное ощущение — что так не пойдёт.
Аргумент говорит, что так пойдёт, но моё сильное интуитивное ощущение — что так не пойдёт.
В теории нет разницы между теорией и практикой. На практике есть.
Я думаю, это будет один из таких случаев.

Глава 10: Параллелизация, разнообразие и самосовершенствование

ВЕДУЩИЙ:
Многие модели рекурсивного самоулучшения буквально и прямо утверждают, что у нас будет миллион Иль, в сервере, которые генерируют разные идеи, и это приведёт к очень быстрому появлению сверхразума.
Есть ли у вас интуиция относительно того, насколько параллелизуема та вещь, которой вы занимаетесь? Какова отдача от создания копий Ильи?
ИЛЬЯ:
Не знаю. Я думаю, будут определённо убывающие отдача, потому что вам нужны люди, которые мыслят по-разному, а не одинаково.
Если бы были буквальные копии меня, я не уверен, насколько больше ценности вы бы получили. Люди, которые мыслят по-разному, — вот что вам нужно.
ВЕДУЩИЙ:
Почему так получается, что если посмотреть на разные модели, даже выпущенные совершенно разными компаниями, обученные на, возможно, не пересекающихся наборах данных, на самом деле удивительно, насколько похожи БОМы (большие языковые модели) друг на друга?
Возможно, наборы данных не так непересекаемы, как кажется.
Но есть ощущение, что даже если отдельный человек может быть менее продуктивен, чем будущий ИИ, возможно, в том, что человеческие команды имеют больше разнообразия, чем команды ИИ, есть нечто ценное.
Как нам вызвать осмысленное разнообразие среди ИИ?
Мне кажется, просто повышение температуры приводит лишь к бессмыслице.
Вам нужно нечто вроде того, что у разных учёных разные предубеждения или разные идеи.
Как получить такое разнообразие среди ИИ-агентов?
ИЛЬЯ:
Причина, по которой, как я полагаю, не было разнообразия, — предобучение. Все предобученные модели примерно одинаковы, потому что они предобучаются на одинаковых данных.
Теперь RL и пост-обучение — это то место, где начинает появляться некоторое различие, потому что разные люди придумывают разное RL-обучение.
ВЕДУЩИЙ:
Я слышал, как вы намекали в прошлом на самосовершенствование (self-play) как на способ либо получить данные, либо сопоставить агентов с другими агентами эквивалентного интеллекта для запуска обучения.
Как нам думать о том, почему нет публичных предложений о том, что подобное работает с БОМами?
ИЛЬЯ:
Я бы сказал, есть две вещи.
Причина, по которой мне казалось интересным самосовершенствование, — это то, что оно предлагало способ создавать модели, используя только вычислительные мощности, без данных. Если вы считаете, что данные — это окончательное узкое место, то использование только вычислений очень интересно. Вот что делает его интересным.
Дело в том, что самосовершенствование, по крайней мере в том виде, в каком оно делалось раньше — когда у вас есть агенты, которые каким-то образом конкурируют друг с другом, — оно хорошо только для развития определённого набора навыков.
Оно слишком узко. Оно хорошо только для переговоров, конфликтов, некоторых социальных навыков, стратегического мышления и тому подобного.
Если вас интересуют эти навыки, тогда самосовершенствование будет полезно.
На самом деле, я думаю, что самосовершенствование нашло себе место, но только в другой форме.
Такие вещи, как дебаты, доказатель-верификатор, у вас есть какой-то LLM-as-a-Judge, который также мотивирован находить ошибки в вашей работе. Можно сказать, это не совсем самосовершенствование, но это связанная враждебная установка, которую, как я верю, люди используют.
На самом деле, самосовершенствование — это частный случай более общего соревнования между агентами.
Естественная реакция на конкуренцию — попытаться быть другим. Так что если вы поместите нескольких агентов вместе и скажете им: «Вам всем нужно работать над некоторой проблемой, и вы — агент, проверяющий, чем занимаются все остальные», — они подумают: «Ну, если они уже выбрали этот подход, непонятно, стоит ли мне его преследовать. Мне следует выбрать что-то отличающееся».
Так что я думаю, нечто подобное также может создать стимул к разнообразию подходов.

Глава 11: Вкус к исследованиям — красота, мозг и топ-даун убеждённость

ВЕДУЩИЙ:
Последний вопрос: что такое вкус к исследованиям?
Вы, очевидно, человек в мире, который считается обладающим лучшим вкусом в проведении исследований в ИИ. Вы были соавтором самых значительных вещей в истории глубокого обучения — от AlexNet до GPT-3 и так далее.
Что это такое? Как вы характеризуете, как вы приходите к этим идеям?
ИЛЬЯ:
Я могу прокомментировать это для себя. Думаю, разные люди делают это по-разному.
Одна вещь, которая лично ведёт меня, — это эстетика того, каким должен быть ИИ, через размышление о том, какими являются люди, но размышление правильно.
Очень легко думать о людях неправильно, но что значит думать о людях правильно?
Приведу несколько примеров.
Идея искусственного нейрона напрямую вдохновлена мозгом, и это отличная идея.
Почему? Потому что вы говорите: у мозга есть все эти разные органы, есть извилины, но извилины, вероятно, не важны. Почему мы думаем, что нейроны важны? Потому что их очень много. Это как-то чувствуется правильно, поэтому вы хотите нейрон.
Вы хотите какое-то локальное правило обучения, которое будет менять связи между нейронами. Кажется правдоподобным, что мозг делает это.
Идея распределённого представления.
Идея о том, что мозг реагирует на опыт, поэтому наша нейросеть должна учиться на опыте.
Мозг учится на опыте — нейросеть должна учиться на опыте.
Вы как бы спрашиваете себя: фундаментально это или нет? Как вещи должны быть.
Я думаю, это во многом вело меня, размышление с разных углов и поиск почти красоты, красоты и простоты.
Уродство — для него нет места. Это красота, простота, элегантность, правильное вдохновение от мозга.
Все эти вещи должны присутствовать одновременно.
Чем больше их присутствует, тем больше вы можете быть уверены в топ-даун убеждённости (top-down belief).
Топ-даун убеждённость — это то, что поддерживает вас, когда эксперименты противоречат вам.
Потому что если вы всегда доверяете данным, ну, иногда вы можете делать правильную вещь, но есть ошибка. Но вы не знаете, что есть ошибка.
Как вы можете сказать, что есть ошибка? Как вы знаете, стоит ли продолжать отлаживать или сделать вывод, что направление неверно?
Это топ-даун. Вы можете сказать: «Вещи должны быть такими. Что-то подобное должно сработать, поэтому мы должны продолжать».
Это топ-даун, и он основан на этой многогранной красоте и вдохновении мозгом.

ВЕДУЩИЙ:
Хорошо, на этом остановимся. Большое спасибо.
ИЛЬЯ:
Илья, большое спасибо.
ВЕДУЩИЙ:
Хорошо. Благодарю. Это было здорово.
ИЛЬЯ:
Да, мне понравилось.
ВЕДУЩИЙ:
Да, и мне тоже.