Я регулярно встречаю в чатиках программистов людей, которые считают, что нужно продолжать кодить руками, «чтобы не деградировать». Не чтобы сделать лучший продукт, не чтобы защититься от накопления техдолга, а именно вот в физкультурном смысле, чтобы так сказать мозг жиром не заплывал. Все это, на мой взгляд, указывает на фундаментальное непонимание, куда сейчас движется ИИ. Он все еще уступает человеку в 3 аспектах:

  • «Сила» системы 2 по Канеману. Пока что ИИ тупо хуже думает, чем лучшие из людей (это важно: в большинстве задач ИИ уже умнее среднего человека, но прогресс вперед двигают лучшие, и вот им он пока уступает). Но тут важно понимать, что ИИ хуже в расчете на доллар, а не вообще. Если потратить ОЧЕНЬ МНОГО токенов на размышления, уже сейчас можно добиться высококачественных решений, просто это все еще слишком дорого для массового адопшена. Но метрика «что угодно в ИИ в расчете на доллар» изменяется очень быстро, поэтому здесь для людей нет серьезного «рва».

График удешевления ИИ

Логарифмический график удешевления единицы работы ИИ

  • Постоянная память. Существует много способов что-либо запоминать для ИИ. Подхода глобально 2: засовывать информацию прям в веса модели, либо класть ее в какую-то около-классическую базу данных и давать модели инструмент для быстрого поиска по ней. Первый вариант больше похож на то, как работает мозг у людей, но для действительно больших моделей это стоит слишком дорого, так что массово доступен пока только вариант с базой данных. Такое решение сложнее сделать универсальным (возникает куча вопросов о том, как лучше распилить на куски конкретный вид данных, нужна здесь иерархичность запоминания или нет, и всякое подобное), но я могу себе представить «почти универсальную» память на этой основе, которая на вид практически не будет отличаться от человеческой. Вариант с хранением в весах модели также нельзя сбрасывать со счетов. Если продолжится тренд по уменьшению размера модели при сохранении ее «IQ», а вычисления продолжат дешеветь, в какой-то момент около-человеческий вариант памяти может стать дешевым и массово доступным.

  • Опыт «телесности». У нас все еще нет нормального «телесного» ИИ, поэтому мы не можем ясно увидеть различия в мышлении, которые от этого возникают. Мы четко не понимаем, какие из чисто интеллектуальных задач принципиально иначе решаются, если у тебя есть тело.

Для кодинга, вероятно, актуальны только пункты про силу и память, а телесным опытом будто бы здесь можно пренебречь.

Так вот, мой поинт: когда ИИ сможет итеративно учиться на опыте, и при этом будет сильнее человека в плане интеллекта, всякая практическая ценность от «обучения» через написание кода пропадет. А персистентная память и наращивание силы интеллекта для ИИ сейчас — две самые горячие темы у любых ресерчеров. Так что я бы ожидал, что рано или поздно обе проблемы будут так или иначе решены, либо будут очень близки к окончательному решению (это зависит от того, насколько оптимальный путь выберет мейнстрим), то есть для большинства практических кейсов будут неотличимы от решенных.

По моему мнению, действовать уже сегодня следует так, будто это произошло. Это просто снижает долгосрочные риски. Когда это действительно произойдет, будет поздно реагировать. Несмотря на то, что ИИ эволюционирует поступательно, массовое осознание его возможностей и внедрение обычно скачкообразны, так что следует ожидать крайне быстрого перехода мира от состояния «ИИ чет еще не очень» к «я даже не понимаю, как эта сверхумная штука работает». А если это уже произошло, если ИИ уже учится на опыте и при этом превосходит нас по IQ, бессмысленно пытаться за ним угнаться и упихивать в свою голову детали его работы. Это просто невозможно, это как пытаться рыть лопатой быстрее экскаватора.

Пока писать код (и делать это крайне вдумчиво!) все еще имеет смысл, но не потому, что это способ не отстать от ИИ или держать себя в форме, а потому, что у LLM пока довольно слабая «система 2» по Канеману, то есть они не способны на то же качество размышлений (а не кода), как человек. Код может быть медиумом этих самых размышлений, т. к. часто нужен формальный способ записывать промежуточные результаты. Думание с блокнотом обычно полезнее просто думания, а думание о сложных и формализованных вещах с кодом еще лучше, чем думание с блокнотом. Однако если ваш код не является для вас «блокнотом» для думания, он бессмысленен уже сейчас. Не пишите его, делегируйте ИИ. Для большинства «тасок» в коммерческом программировании думание излишне, правильные решения уже известны, а значит и отрыва от ИИ у вас никакого нет.

Схематичное изображение мозга

Существует популярная теория «триединого мозга», согласно которой мозг устроен иерархически: рептильное ядро, лимбическая система и неокортекс. Он эволюционировал наподобие матрешки: более сложные новые слои как бы «оборачивали» старые, надстраивались над ними. Неокортекс — наиболее сложная и вычислительно мощная часть, именно там находятся личность и интеллект человека. Эта штука способна построить сложную модель реальности и планы действий на ее основе, но лишена источников мотивации к действию. При принятии решений неокортекс опирается на базовые эвристики, эмоции, которые полузахардкожены в лимбической системе. Ну и совсем глубоко, в рептильном ядре, заложена вся суть «витальности», стремления жить. Там прописаны самые глубокие стимулы, на которые опирается «обучение с подкреплением» вышележащих слоев.

Теория получила много справедливой критики, но она в основном касается частностей. Например, выяснилось, что неокортекс — это всего лишь частный случай так называемого «паллиума», который есть у многих животных, включая даже рыб. Эволюция не работает как собирание матрешки, эволюционирует весь мозг целиком. Однако, если мы откинем детали, как крайне верхнеуровневое обобщение это все еще работает и действительно помогает понять, как эволюционируют разумные системы. Но его главная ценность для меня лично не описательная, а предсказательная. Идея слоев интеллектуальных систем, где более новые вышележащие слои сложнее нижележащих, и контролируются снизу за счет простых эвристик и стимулов, как мне кажется, универсальна, и главное — идеально описывает симбиоз человека и интеллектуальных машин.

Когда ИИ обретет силу и память, наше преимущество в размышлениях пропадет. Не будет никакого смысла пытаться думать за ИИ, он все равно гораздо быстрее и умнее. Единственное, что останется — это пытаться быть «лимбической системой», то есть определять для него фундаментальные критерии качества решений, минуя попытки диктовать их непосредственную схему. Мы определяем, что хотим, в терминах входа и выхода для «черного ящика», а не вникаем в процесс пошагово. Кажется, что это единственный путь к сосуществованию с сильным ИИ.