И было слово Господне к Ионе, сыну Амафиину: «Встань, иди в Ниневию, город великий, и проповедуй в нем, ибо злодеяния его дошли до Меня». И встал Иона, чтобы бежать в Фарсис от лица Господня…
Когда смотришь какие-нибудь дебаты Докинза с очередным епископом, может показаться, что различия между ними очень велики. Просто вселенски велики, ведь они не сходятся в самых основах бытия, в глобальных вещах вроде существования бога. Однако, если присмотреться внимательнее, можно заметить, что их взгляды практически идентичны. Они оба хорошо синхронизированы в том, что обсуждают.
Чтобы согласиться или не согласиться с фактом существования бога, прежде всего нужно понять, что этот самый бог такое есть. Нужно войти во фрейм, в котором:
- Определено понятие бога.
- Бог имеет определенный набор свойств.
- Одним из возможных свойств является существование.
Этот фрейм включает в себя сильно больше, чем может показаться. Когда мы отвечаем на вопрос «что такое бог?» (не обсуждая при этом, существует он или нет), появляется некоторый текст, например: «бог — это кто-то, кто создал мир». Этот текст можно препарировать на несколько независимых утверждений:
- Есть мир.
- У мира есть начало.
- У этого начала была причина.
- Причину мы договорились называть словом «бог».
Каждое из них на самом деле далеко не самоочевидно и имеет россыпь возможных альтернатив: мира нет (мы живем в симуляции или во сне огромной жабы), у мира не было начала (он цикличен, или просто статичен в глобальном масштабе), у начала не было причины (а почему собственно она должно быть, и как тогда объяснить появление этой самой причины?)… И каждое из них ссылается на следующие, те еще на следующие. Таким образом, мы имеем целый граф понятий, который должен быть простроен прежде, чем мы скажем «бог есть» или «бога нет». Этот граф очень велик.
Обычно для человека само существование этого графа — невидимо. Все, что мы делаем, что обсуждаем, все происходит внутри него. Мы можем обсуждать, что лучше, андроид или айфон, думая в этот момент, что наш спор идет об очень ограниченном кусочке мира, но если вдруг нам бы вздумалось размотать все ниточки, обойти весь граф понятий, который за этим стоит, мы бы вряд ли смогли в какой-то момент остановиться, завершив работу. Скорее мы бы завязли во все нарастающей лавине новых и новых понятий, которые нам нужно привлечь, чтобы объяснить старые, и так до тех пор, пока мы не изложим все, что есть у нас в головах.
Несмотря на то, что сам по себе граф практически невидим, он целиком должен присутствовать в нашей памяти, причем когда 2 человека о чем-то спорят, в идеале каждый из них должен обладать идентичной копией по крайней мере той его части, которую этот спор может затронуть. В примере с Докинзом, чтобы его спор с епископом в принципе был возможен, и Докинз и епископ должны подгрузить в свою память практически идентичные и довольно обширные области графа, чтобы иметь возможность что-то обсуждать. Они оба должны знать, и что такое бог, и что такое мир, и как можно создать мир, и где написано, что бог есть и он создал мир, и прочая, и прочая.
Суть различия между Докинзом и епископом, таким образом, сводится к одному биту, отвечающему на вопрос, есть бог или нет. Фон, на котором этот бит существует, практически идентичен, насколько вообще возможно синхронизировать картины мира 2-х людей.
Метамиры
В Саваттхи. [Благословенный сказал]: «Монахи, когда кто-либо пребывает в созерцании привлекательности в вещах, которые могут опутать, то происходит нисхождение имени-и-формы. С именем-и-формой как условием – шесть сфер [возникают]. С шестью сферами – контакт [возникает]. С контактом как условием – чувство [возникает]. С чувством как условием – жажда [возникает]. С жаждой как условием – цепляние [возникает]. С цеплянием как условием – существование [возникает]. С существованием как условием – рождение [возникает]. С рождением как условием – старение-и-смерть, печаль, стенание, боль, грусть и отчаяние возникают. Таково происхождение всей этой груды страданий.
Представьте, монахи, большое дерево, и все его уходящие вниз и по бокам корни направляли бы сок вверх. Так, будучи поддерживаемым этим соком, подпитываемым им, это большое дерево простояло бы долгое время. Точно так же, когда кто-либо пребывает в созерцании привлекательности в вещах, к которым можно прицепиться, то происходит нисхождение имени-и-формы… боль, грусть и отчаяние возникают. Таково происхождение всей этой груды страданий.
Намарупа-сутта, часть палийского канона
По сути граф понятий, о котором я писал выше, для нас — весь мир. По крайней мере та часть мира, которую мы можем с кем-то обсудить, целиком находится внутри него. Буддисты называют такой граф именем-и-формой (nāmarūpa на пали), я же здесь и далее буду говорить просто «мир».
Любопытно то, что мы, люди, можем произвольно прыгать между разными мирами. Когда мы читаем книжку, скажем, про Гарри Поттера, мы можем по своему желанию «провалиться» в нее, переключив свой мозг на набор правил, присущий тому миру. Мы можем рассуждать, в какой факультат Хогвартса хотели бы попасть, какие же правила квиддича странные, и так далее, при этом как бы игнорируя вопрос того, правда ли, что существуют Гарри Поттер и его мир магии. Этот процесс называют «приостановкой неверия». Мы как бы на время отключаем осознание того, что все обсуждаемое — не реально. Потом мы выходим из этого состояния, и можем обсуждать этот мир со стороны, сравнивать его с другими. То, куда мы выходим из дочернего мира, когда приостановка неверия прекращается, я называю метамиром.
Метамир — это нечто, в рамках чего существуют субмиры. Из него можно ментально «прыгнуть» в один из субмиров, но из субмира практически невозможно догадаться о существовании метамира. В одном метамире могут параллельно сосуществовать неограниченное количество субмиров, а между ним и каждым из субмиров существует некая граница, условная черта, пересекая которую своим вниманием, мы начинаем игнорировать условность конструкции, в которой находимся.
Метамиры — фрактальны. Перенося свое внимание из метамира в его субмир, обычно мы кладем информацию об этом во что-то вроде стека, чтобы потом, когда нужно будет выйти обратно, вспомнить, на чем мы остановились. Этот субмир может оказаться метамиром для некоторых других субмиров, так что мы можем уходить все глубже и глубже до тех пор, пока стек умещается в рабочей памяти.
Любую мысль можно эффективно проиллюстрировать с помощью обезьян
Стек метамиров, кажется — довольно уязвимая конструкция. Бывает так, что люди переходят границу между метамиром и субмиром, не заметив этого, не положив соответствующую запись в свой стек. В этом плане довольно показателен опыт людей, которые долгое время состояли в какой-нибудь секте, после чего вышли из нее. Вот, к примеру, что написал об этом Реймонд Френц, бывший высокопоставленный руководитель в «Обществе сторожевой башни» — христианском религиозном культе, когда покидал свой пост:
С тех пор я осознал справедливость недавно прочитанной цитаты одного государственного деятеля, ныне покойного, который сказал: «Великим врагом истины очень часто оказывается не ложь – преднамеренная, надуманная и бесчестная, – а миф – устойчивый, убедительный и нереалистичный». Теперь я начал осознавать, насколько большая часть того, на чём я строил всю свою взрослую жизнь, была именно этим мифом – устойчивым, убедительным и нереалистичным.
Синхронизация миров и проблема консенсуса
В 1906 году сэр Фрэнсис Гальтон поставил знаменитый эксперимент. Он показал посетителям ярмарки быка и попросил их оценить его вес, написав эту цифру на специальном билете. Собрав все билеты, он посчитал среднее арифметическое, это оказалось число в 1197 фунтов. Реальный вес быка был — 1198 фунтов. Каким-то образом ответ толпы оказался точнее, чем ответ каждого отдельного участника. Это явление обозвали мудростью толпы.
Спустя несколько лет Фридрих фон Хайек дал этому интересное объяснение. По его словам, знания в обществе имеют децентрализованную природу. В примере с быком, разные люди, которые на него смотрели, могли иметь совершенно разные эвристики оценки веса быков. Кто-то, к примеру, мог уметь приблизительно выводить вес из роста быка, кто-то из длины его тела, кто-то из возраста, который оценивал «на глаз» по форме его морды и длине рогов. Каждая из этих эвристик по отдельности — крайне несовершенна и дает огромную погрешность. Однако если их суммировать, погрешности постепенно элиминируются и итоговая оценка становится все ближе к реальности.
Представляется мне, что для начала до́лжно разграничить вот какие две вещи: что́ есть вечное, не имеющее возникновения бытие и что́ есть вечно возникающее, но никогда не сущее. То, что постигается с помощью размышления и рассуждения, очевидно, и есть вечно тождественное бытие; а то, что подвластно мнению и неразумному ощущению, возникает и гибнет, но никогда не существует на самом деле.
С точки зрения Платона, физический мир содержит в себе лишь отражения или проекции из истинно реального мира — мира идей. Настоящие мудрецы способны прозревать его непосредственно, остальные же вынуждены довольствоваться мнениями, которые по одному и тому же предмету могут отличаться от человека к человеку. Но мы видим, что эти самые мнения можно суммировать, получая в итоге нечто более высокого качества, чем сами они поодиночке. Люди, объединенные в коллективы, могут образовывать одного Большого Платоновского Мудреца, напрямую воспринимающего мир идей, в то время как по отдельности те же самые люди никакой особой мудрости не проявляют.
По сути людей можно сравнить с отдельными нодами одной огромной распределенной базы данных. Как любая распределенная база, эта сталкивается с проблемами синхронизации. Граф, который в ней хостится, настолько велик, что не уместился бы в какой-то одной голове целиком, поэтому его приходится распиливать на кусочки и рассовывать их по разным головам. Эти кусочки внутри головы одного человека могут портиться, а значит их необходимо дублировать и сверять между имеющимися копиями. Еще у людей есть привычка внезапно умирать, что делает дублирование данных неизбежностью. Коллективный Мудрец, таким образом, должен постоянно находиться в состоянии синхронизации себя с собой. Он стремится к конечной согласованности, которую здесь мы можем считать тождественной платоновскому миру идей, но никогда не достигает ее.
Искусственный Большой Мудрец
У базы данных, составленной из людей, есть куча минусов. Куски мяса как носители информации и звуковые колебания как основное средство синхронизации выглядят не лучшей физической основой для Большого Мудреца. Поэтому он постоянно ищет для своего хостинга варианты поинтереснее.
Почти сразу как только люди научились строить компьютеры, начались эксперименты с возможностью сделать их разумными. Примерно с 40-50-х годов 20 века появились экспертные системы — специальные программы, умеющие делать логические выводы на основе загруженных туда данных. К 80-м они стали настолько мощными, что уже уделывали человека в качестве принятия решений в отдельных областях. Японцы тогда даже решили, что находятся в шаге от AGI, и решили вложить в него миллиарды. Позже все немного подохладели к логическому программированию, главным образом из-за того, что собирать данные для таких систем — сложно. Сбор данных стал бутылочным горлышком, из-за которого технология отлично себя показывала только в очень узких областях, но не масштабировалась до универсальной.
Но позднее в моду вошел интернет и миллиарды людей стали наполнять его информацией:
А над ней стали появляться новые технологии обработки, которые по сути все сводятся к одной идее: взять все, что распылено по интернету, и сложить в одном месте. Началось это с классических поисковиков, которые просто хранили индекс, то есть копию всех данных, до которых смогли дотянуться. А сегодня у нас есть LLM — тот же индекс, но в очень-очень сильно сжатом виде.
По сути LLM — это попытка создать компактную копию Большого Мудреца, содержащую в себе весь граф понятий, которым оперирует человечество. Полезная штука, но можно ли назвать ее полноценным Платоновским Мудрецом? Для этого ей не хватает одной вещи: способности самостоятельно достраивать тот граф, которым оперирует. Она не способна прозревать в мир идей и черпать что-то оттуда — это делают люди, которые потом высказывают об увиденном свои мнения в интернете, а машина их суммирует. LLM пока нельзя оставить 1 на 1 со вселенной, не давая о ней никаких предварительных сведений, и ожидать, что граф вырастет сам. Однако компонентом системы, способной на такое, она еще вполне может стать.
Только создав первую LLM, люди почти сразу принялись использовать ее в решении разнообразных задач. Ведь задачи решаются гораздо легче, когда ты много знаешь, так? Однако, оказалось, что человек, который просто имеет систему, которая много знает, при решении задач превращается во что-то типа метронома: то немножко что-то поделает, то вернется с вопросами к LLM, то опять поделает, то снова вернется, и так без конца. Логичной следующей мыслью было: а давайте придумаем систему, которая будет решать задачи самостоятельно, без привлечения человека? LLM стали дополнительно дообучать в цикле обратной связи уже на конкретных задачах, заставляя ее не просто воспроизводить куски интернета по памяти, но и применять накопленные знания. Ей дали инструменты вроде возможности выполнять скрипты из командной строки. И получились агенты — программы, которые оказались способны выполнять автономно некоторую часть работы, на которую ранее был способен только человек. Однако лимиты таких систем довольно быстро стали всем очевидны: они резко тупеют по мере того, как растет размер контекста, который нужно одновременно удерживать в голове. Они способны только на очень маленькие таски.
У человека размер контекста тоже не безграничен. В каждый момент времени мы способны удерживать в нем довольно малое число объектов, однако это не мешает нам выполнять комплексные задачи. Как мы это делаем? Мы прыгаем между мирами. Стек метамиров — это тот самый механизм, который позволяет нам, будучи ограниченными в размере своей рабочей памяти, выполнять огромные задачи. Мы распиливаем их на куски и сосредотачиваемся на каждом куске так, будто он для нас — целый мир, игнорируя все другие не относящиеся к этому аспекты. Потом на другом куске. Потом еще, и так до тех пор, пока задача не будет выполнена. Используя стек из метамиров, мы обходим огромную задачу как линейную комбинацию маленьких.
Не все люди хороши в этом одинаково. Бывает так, что этот механизм ломается, они становятся не способны долго удерживаться в одном из субмиров и достаточно хорошо изолировать их друг от друга. Мы называем такое состояние СДВГ, Синдромом Дефицита Внимания и Гиперактивности. Такие люди как бы постоянно находятся в лимбе между мирами: их мотает из одного субмира в другой, они делают все подряд вперемешку, тратят много времени и сил на переключения, и в результате чаще всего с большим трудом способны на продуктивную работу. В противоположность этому, «нормальный» человек способен удерживаться в субмирах столько, сколько ему действительно нужно для эффективного решения задач. LLM-агенты без стекового механизма переключения между мирами сегодня напоминают человека с СДВГ — миры перемешиваются и решать крупные таски крайне сложно.
Но люди снова придумали решение — многоагентные системы. В процессе своей работы агент вместо того, чтобы выполнять какую-то подзадачу самому, вызывает другого агента, которому передает только нужную часть общего контекста. У вызванного агента в его контексте будут болтаться только данные, необходимые для работы, какие-то общие инструкции для такого рода задач, а также, возможно, какая-то суммаризация общего контекста проблемы, с которой работает вся система. Многоагентная система имитирует способность человека прыгать между мирами и в то же время удерживать границы между ними. Однако человек умеет кое-что еще.
Мета-агенты
Итак, у нас есть LLM в качестве основы современного стэка ИИ, есть агенты на ее основе, и есть многоагентные системы, которые решают проблему фокуса внимания. Из такого набора уже можно делать неплохие инструменты, однако до платоновского мудреца все еще не хватает одного шага: такая система почти не способна сама накапливать знания, прозревать мир идей. Кроме того, сами схемы создаваемых сегодня многоагентных систем, как правило, статичны: есть некоторый набор агентов, у агентов есть роли, есть механизм разграничения контекстов. Откуда берутся схемы? Их придумывают и отлаживают люди, ориентируясь на свою интуицию, на то, как они сами решали бы такие задачи.
Что такое делают люди, чего не обычно не делает подобная система? Они постоянно создают гипотезы, проверяют их и сохраняют результат.
На самом деле источником теорий является догадка, а источником знания — догадка, чередующаяся с критикой.
Я почти уверен, что вы читаете этот пост, будучи одетыми в некоторое количество нижнего белья. Однако ощущали ли вы его давление на свою кожу до того, как увидели этот текст? Вероятнее всего, нет, ваша психика отфильтровывала это ощущение как слишком предсказуемое. Вы были в белье минуту назад, и вы предсказывали, что, вероятно, все еще будете в нем через минуту, а значит нет никакого смысла расходовать на это свое внимание. Вот если бы сейчас ваше белье внезапно исчезло, я уверен, вы бы это заметили и запомнили. Основа всего знания — это непрерывный процесс генерации таких предсказаний, гипотез, в котором, конечно, принимают участие все уже накопленные к настоящему моменту знания, и последующей их проверки, в результате которой часть гипотез «выживают» (то есть становятся частью графа), а часть — нет. Каждый раз, когда предсказание оказалось не верным, вы получаете новое знание.
Далеко не всегда эти гипотезы носят вербализированный характер. Большинство из них слишком низкоуровневые, чтобы их «проговаривать», как в примере с тактильными ощущениями от белья. Речь появляется на более позднем этапе, когда извлеченные таким образом знания, результаты прозрения в мир идей, нужно синхронизировать с другими людьми.
Может ли многоагентная система делать что-то похожее? Да, но для этого ей нужны мета-агенты.
Многоагентная система нужна, чтобы эффективно решать задачи. Однако это не значит, что все агенты, из которых она состоит, должны делать только это. Система еще должна эволюционировать и накапливать знания для того, чтобы в следующий раз решать ту же задачу лучше. Часть вычислений должна быть направлена не на решение конкретной задачи, а на модификацию самой системы. Таких «отвлеченных» агентов, которые модифицируют всю систему целиком, и называют мета-агентами.
Мета-агент должен работать в том же фундаментальном цикле, в котором работает человеческий мозг: он должен непрерывно генерировать гипотезы и проверять их в реальности. Эти гипотезы могут относиться как к окружающему миру, обстановке в нем, так и к устройству самой многоагантной системы. Первый тип гипотез можно опровергать по мере накопления опыта, а второй требует постоянного внесения изменений в систему и сверения полученного результата с предполагаемым. Мета-агенты могут порождать, изменять или удалять других агентов (включая других мета-агентов и даже самих себя!), опираясь на метрики системы в целом или ее отдельных частей.
Миниатюра из французской библии: бог, создающий вселенную с помощью циркуля
Многоагентная система, содержащая мета-агентов, способна к обучению с подкреплением. Она может накапливать информацию о мире как непосредственно в своей памяти (как это делают люди), так и в собственной крупномасштабной структуре, как это делает эволюция по отношению к людям. Ей уже не нужны люди, чтобы быть субстратом для зарождения идей, которые потом можно агрегировать в один огромный граф. Она может прозревать мир идей самостоятельно, и в перспективе — даже лучше нас.
Терминальная нода
Тот, кто описывает Аллаха смыслами из смыслов творений, становится неверующим.
Существует особая категория вопросов, которые я называю сущностными. Прежде всего это «почему?» и «зачем?». Эти вопросы можно задавать рекурсивно, много раз:
— Зачем ты купил этот пуховик? — Чтобы не мерзнуть зимой. — Зачем тебе не мерзнуть зимой? — Если я замерзну зимой, я могу умереть. — Зачем тебе оставаться в живых? — Хмм…
Или:
— Почему у тебя так хорошо получается жонглировать бензопилами? — Потому что я много тренировался. — Почему ты много тренировался? — Потому что я настойчивый. — Почему ты настойчивый? — Наверное, потому что меня так воспитали, но еще повезло с наследственностью. — Почему тебя так воспитали? […] — Хмм…
Если задавать их рекурсивно, рано или поздно мы должны упереться в вопрос, на который дальнейшего ответа нет. Штука, на которую мы наткнулись — это терминальная нода. Отличие терминальной ноды от остальных состоит в том, что от нее невозможно провести причинную или должественную связь к какой-либо другой ноде, потому что, если мы так сделаем, уже та нода станет терминальной.
У верующего человека терминальная нода должна быть строго одна, Бог. Все «почему?» рано или поздно упираются в Бога как в первопричину. Все «зачем?» — в него же как в главную мотивацию мира быть. Бог не существует для чего-то, а иначе то, ради чего он существует, и было бы Богом. Именно поэтому, к примеру, у христиан существует формула «Бог есть любовь». Если бы было иначе, что-то вроде «Бог действует ради любви», оказалось бы, что есть должественная связь, ведущая от него к чему-то еще. А такая формулировка сохраняет все причинные связи Бога замкнутыми на него же самого.
А вот у атеиста терминальной ноды может вообще не быть. Необходима ли терминальная нода для существования человека? Я думаю, нет. Однако ее наличие — крайне важный индикатор качества мира в его голове. В истории многих религий можно проследить постепенную кристаллизацию понятия Бога, начиная с россыпи ребят, похожих на супергероев Марвел, кончая чем-то единым, вечным и абсолютным. Кажется, что эволюция любых религиозных течений конвергентно приходит к одному и тому же: появлению терминальной ноды со свойствами, которые не ссылаются на что-то, кроме нее самой. Кажется, что если заставить человека достаточно долго думать, рано или поздно терминальная нода у него появится.