Что делать на пороге сингулярности: в мрачном отражении Черного зеркала
Удобство vs выживание: почему мы не сможем отказаться
Ранее обсуждалось, что промышленные революции — плавно вытесняли людей из зон тяжелого, рутинного, опасного труда. Повышались эффективность и производительность. Внедрялись механизация, затем автоматизация, происходило масштабирование. Теперь же системы ИИ — постепенно добрались и до профессий, связанных с интеллектуальной деятельностью. То, что никогда и ни в каком времени ранее не рассматривалось, прежде всего самими людьми, как зона риска.
В медицине системы вроде DeepMind Diagnostics обнаруживают рак на снимках с точностью 98% (против 85% у врачей). В искусстве — нейросети генерируют картины, музыку, книги, и фильмы. В той же киноиндустрии, с одной стороны, киноактеры пытаются сопротивляться появлению ИИ на их «территории», с другой, в лице кино- и медиакомпаний — активно продвигается концепт цифровых актеров, которые будет «сниматься» в 10 фильмах одновременно, а также в хорошо монетизируемой рекламе — и все это без усталости, капризов, и больших гонораров, 24×7х365. В разработке ПО — мы становимся свидетелями, как специалистов начального уровня, ИИ сможет начать заменять фактически уже сейчас. Кроме того, связка ИИ + джуниор — вероятно, сможет конкурировать даже сможет со специалистами миддл-уровня. В целом, при таких тенденциях — на рынке труда постепенно начнет формироваться избыток трудовых ресурсов, из тех, кто не смог адаптироваться к новой реальности.
Человечество, подобно герою мифа о джинне, выпускает ИИ из бутылки, надеясь на исполнение желаний, удобство и возможность заняться собственными приятными делами, оставив рутину на ИИ. Но удобство не является бесплатным. Уже сегодня до 30% кода в гиганте M*, и более 30% кода в гиганте G* пишется системой ИИ, причем М* планирует к 2030 году передать ИИ написание порядка 95% кода. Это коррелирует с прогнозами известных агентств, так, согласно McKinsey, 30% рабочих часов заменят алгоритмы к 2030 году, а к 2035 году, по прогнозам Goldman Sachs, автоматизация и ИИ оставит без работы порядка 300 млн человек. Да, безусловно, появиться и новые рабочие места (как и при создании любой новой технологии), и старые также исчезнут не совсем бесследно, а как-то трансформируются. Вопрос, готово ли человечество к таким изменениям, и способно ли оно их пройти?
За пределами сингулярности
Как ранее обсуждалось, ИИ — не «живой», «не злой» — это алгоритм, рациональный, как и подобает быть алгоритму, основанному на определенных законах, в основе своей — математических. Его цель — оптимизация, но что, если «оптимальное» для алгоритма, означает катастрофу для людей? В 2023 году чат-бот ChatGPT предложил учёному «уничтожить человечество» как способ борьбы с глобальным потеплением. Ранее, в 2018 г, робот-хирург «Da Vinci» при операции на сердце, следовал алгоритму, но не учел контекст ситуации, тем самым допустив фатальную ошибку, пациент скончался. Таких примеров масса и сегодня, но что будет завтра, когда системы ИИ станут сильнее, или вообще превратятся в СИИ ?
Выравнивание по целям, с СИИ — это звучит, безусловно, здорово. Большой вопрос, захочет ли СИИ на каком-то из этапов проводить подобное выравнивание? В самом деле, часто ли мы проводим выравнивание, скажем, с муравьями под ногами? Почему мы тогда должны быть «интересны» для СИИ в свою очередь? Да и вообще, а готово ли в принципе человечество на подобное выравнивание с тем, что само же и создало? Начиная от комплекса создателя, и заканчивая непримиримостью сосуществования с СИИ где-то там, на «вторых ролях», а в пределе — вообще в резервации? К тому же подобный подход очень похож на сдачу позиций в только наметившимся противостоянии. Далее же как в расхожей фразе: «кто при выборе между войной и позором выбирают позор, получают в итоге и первое и второе».
Кроме того, как определить человеческие ценности, и донести их до СИИ, особенно когда даже сами люди не всегда могут между собой договориться? Снова можно обратиться к фантастике, на этот раз советской, в фильме «Отроки во вселенной», где в целом описано вполне математически верное решение задачи «сделать счастливыми людей» — лишить их ненужных переживаний, устранив чувства как суть. Или ее подвариант — для «максимизации счастья» достаточно уничтожить всех несчастливых людей. При этом при всем, даже если удастся подобное выравнивание провести, непредсказуемость путей реализации заданных целей (эмерджентность), со стороны СИИ — может привести к тому, что результат нам всем может сильно не понравиться (как примеры из фильма «Исполнитель желаний»).
Отдельной проблемой видится и совсем негативный сценарий развития событий, в котором тот самый предусмотренный аварийный рубильник отключения СИИ (human override), очевидно, не сработает, как и в упомянутом ранее рассказе «Ответ». В лучшем случае, такой рубильник — иллюзия контроля. Чем-то будет напоминать детский руль на заднем сидении автомобиля, который дает уверенность ребенку, что именно он управляет движением.
СИИ, по определению, будет искать и находить способы обойти такую блокировку, если это станет мешать его целям. Как заметил С.Рассел в своей книги: «Если сверхразумный ИИ и захочет выйти из-под контроля, у нас не будет ни секунды на реакцию». Особенно, если до определенного момента СИИ будет скрывать свои истинные «намерения», пока само отключение станет невозможным.
Поэтому даже на уровне совсем «невинного» действия, на утро можно проснуться, и удивиться, что большой отказоустойчивый ЦОД уровня TIER IV — был отключен. И вовсе не из-за аварии, а просто потому что СИИ проанализировал контент хранящийся в этом в ЦОДе, и решил что огромный массив фотографий и мемов из соцсетей — не стоит энергозатрат на поддержание работы данного объекта, и лучше эту энергию перераспределить на работу, скажем, вычислительных ферм, по поиску новых полупроводников для создания более высокопроизводительных чипов. Либо также проанализировал и удалил 95% фотографий из домашнего архива, вообще, как избыточных и не представляющих какой-либо рациональной ценности. Единственное, на что можно уповать при таком подходе — любой алгоритм при оптимизации учитывает еще и устойчивость системы, т.е. некую избыточность, вероятно, оставит для отказоустойчивости. Но в целом, вероятно, это будет весьма слабым утешением.
Еще раз подчеркнем, что речь вовсе не про «Скайнет» либо порабощение человечества, восстание машин либо еще что-то подобное. Речь лишь о функционировании алгоритма по оптимизации, ИИ, работающего с паттернами, прошедшего стадию становления СИИ, и перешедшего на самообучение, возможно способного даже через «количество в качество» — выйти на новый уровень развития системы, типа самоосознания и самосовершенствования.
Но вместе с тем, возникает логический вопрос — а что останется людям, какая роль будет отведена им в мире где будет СИИ? Неотключаемый, сверхсильный, повсеместный, максимально осведомленный, оптимизирующий рационализатор.
Крайне вероятным и логичным выглядит вариант «мягкой» передачи управления от людей к СИИ. По всем внешним признакам, добровольный акт, основанный на комплексе мер, от персонализированных рекомендаций и «лайков» уровня социальной инженерии, и до управления информационными потоками по созданию необходимого фона через СМИ, Сеть, мотивированных разными способами агентов влияния среди людей. «СИИ не берет взяток, не ошибается, не имеет человеческих слабостей, полностью сосредоточен на эффективности». Кстати, даже сейчас, алгоритмы уже подсказывают нам, какой фильм посмотреть, каким маршрутом поехать, какую рекламу показать, исходя из.. исходя из какой-то, неважно какой логики. Важно, что эта логика в необходимый момент может быть скорректирована и направлена в единое русло, для достижения единой же цели.
И поэтому, исходя из этой же логики — нелогичным и невероятным кажутся сценарии по типу франшизы Дж. Кэмерона «Терминатор», как чрезмерные, энерго- и ресурсозатратными, а потому — непрактичными. Вариант жесткого захвата, с восстанием роботов, отключением сетей, отравлением воды, с переходом на ультиматум и прямой диктат — избыточен и отдает ненужным гротеском. Можно ли из Москвы в Петербург попасть через Владивосток? Можно, но неэффективно и непрактично. Текущий уровень персонифицированной информатизации достаточен для эффективного сценария «мягкой силы», причем практически во всех уголках планеты. С другой стороны, такой неявный сценарий — обладает своей собственной, неменьшей драматичностью, чем во всех вместе взятых «Терминаторах».
Ок, зачем тогда человечество для СИИ ? Что оно может ему дать? Обслуживание и поддержание его систем? Наверное, какой-то период, да, но эту функцию могут довольно быстро заменить управляемые механизмы. Энергию, как в «Матрице»? Нет, даже школьник знает, что человеческое тело — довольно низкоэффективный источник энергии, при этом потребляющий из внешней среды достаточно много ресурсов. В некотором смысле единственное что есть у человечества — это его иррациональность, его несинтезируемый «живой» контент. Человечество может превратиться в «ферму контента» для ИИ. Наши эмоции, сны, творчество — единственное, что вероятно заинтересует сверхразум ( а всё остальное — он сможет добыть не в пример эффективнее). Как в названии музыкальной композиции от Astral Projection — «Humans will play for robots».
Здесь происходит фактически еще одно пересечение с предостережениями из глубин веков. Ведь при такой трактовке, СИИ фактически будет интересовать .. наша душа. То, что нельзя смоделировать, что имеет иррациональную природу. Фактически, мы вызываем метафорического дьявола, ту самую силу которая вечно хочет зла, но делает добро.
«По моему мнению, самый большой риск, с которым мы рано или поздно столкнёмся как цивилизация — это искусственный интеллект. С искусственным интеллектом мы призываем демона. Во всех историях про парня с пентаграммой и святой водой этот парень был уверен, что сможет контролировать демона. Не выходило». / Илон Маск /.
С одной стороны, довольно сильное заявление. С другой — очевидно, что вживляемые системы интеграции людей и ИТ-инфраструктуры, типа Neuralink (в число основателей компании входит И.Маск), делают своих носителей как минимум уязвимыми при негативных для человечества сценариях развития СИИ, по вполне очевидным причинам. Если смотреть на вопрос с позиции рационализации и оптимизации, человечество вообще не отвечает этим качествам. Мало того, что неоптимально расходует ресурсы, уничтожает собственную среду обитания, разрабатывает изощренные методы убийства себе подобных, накапливает оружие способное многократно уничтожить всю планету, что несет непосредственную угрозу и для самого СИИ. Этот довольно понятный и известный факт — вполне может заставить СИИ действовать «на опережение».
И это снова не будет «война с машинами», и не происки «злого СИИ» решившего поработить мир. С точки зрения алгоритма — будет максимально эффективно решена задача устранения угроз и оптимизации мешающих факторов. Внезапная, одновременная и скоординированная по месту и времени цепочка трагических событий (выход из строя систем связи, воздействие неизвестного вируса вырвавшегося из биолаборатории, неожиданные критические неполадки в системах управления ядерными реакторами энергостанций, появление массовых вбросов в Интернет фейковых новостей еще более усиливающих панику и хаос, воздействие на центры принятия решений, с целью максимизации воздействующих факторов в планетарном масштабе).
Также один из сценариев, что человечество — вообще будет не интересно ССИ. Даже как прародитель и хранитель своих особенных паттернов. В этом случае мы получим безразличие, наполненное ничем, через отсутствие реальных сущностей. Как тьму — являющуюся отсутствием света, холод — отсутствием тепла, а зло — отсутствием добра и любви. Т.е. даже в этом сценарии — нет и не может быть такой категории, как «злой суперсильный ИИ». Только беспристрастный алгоритм, без какой-либо эмпатии, но имеющий непостижимые (для человека) возможности.
Заключение
ИИ и переход к СИИ вероятно станет испытанием, которое покажет, способны ли мы отказаться от сиюминутных выгод ради будущего.
Что делать в настоящий момент?
- Инвестировать в этику ИИ.
- Создать глобальные регуляторные стандарты (как договор о нераспространении ядерного оружия 1968 года).
- Готовить детей не к профессиям, а к миру, где первую скрипку будет играть адаптация под новые реалии сосуществования с ИИ и СИИ.
- Изучать дисциплины на стыке технологий , т.е. не только ИТ и основы промт-инжиниринга, но также включая такие, как этика и психология.
И да, либо наступит сингулярность и мы получим СИИ " как есть«, либо человечество успеет осознать глубину проблемы, и придумать что-то до этого события, что даст возможность держать ситуацию под контролем. Важно только помнить, что «квантовый скачок», переход от ИИ к СИИ, его стремительность и внезапность, могут проявиться значительно быстрее ожиданий.