Искусственный интеллект – надежды и опасения

Должны ли мы воспринимать предупреждения Винера как руководство к действию? Надо ли нам разрабатывать системы ИИ, чьи цели не будут противоречить нашим, чтобы мы были довольны их поведением? На первый взгляд эта затея кажется безнадежной, поскольку, безусловно, окажется невозможным правильно сформулировать наши собственные цели или вообразить все контринтуитивные способы, какими сверхразумная сущность может достигать этих целей.

Если рассматривать сверхразумные системы ИИ как своего рода «черные ящики» из космоса, тогда у нас действительно нет ни малейшей надежды. Но подход, который мы как будто вынуждены применять, если не хотим сомневаться в результатах, состоит в том, чтобы выявить некую формальную задачу F и проектировать системы ИИ для решения этой задачи, причем, независимо от точности решения, мы будем довольны итогом. Если получится составить задачу F с такими свойствами, мы сможем создать доказуемо благотворный ИИ.

Вот пример того, как не нужно это делать. Пусть наградой будет скалярная величина, периодически задаваемая человеком машине в соответствии с тем, насколько хорошо машина вела себя в течение конкретного промежутка времени; и пусть задача F будет задачей максимизации ожидаемой суммы вознаграждений, полученных машиной. Оптимальное решение задачи, вопреки очевидным ожиданиям, заключается не в хорошем поведении, а в том, чтобы контролировать человека-оператора и заставить его обеспечить поток максимальных наград. Перед нами образчик так называемой интерфейсной задачи, которая опирается на наблюдение, что сами люди подвержены тому же поведению, если располагают электронными стимуляторами собственных центров удовольствия.

Полагаю, что может оказаться эффективным следующий подход. Людей можно обоснованно описать как обладающих некими предпочтениями (обычно имплицитными) в отношении будущего – то есть при наличии достаточного времени и неограниченных визуальных средств человек способен выразить свое предпочтение (или безразличие), когда ему предлагается выбор между двумя вариантами будущего, изложенными во всех подробностях. (Эта идеализация игнорирует возможность того, что наш разум объединяет подсистемы с несовместимыми предпочтениями; если так и есть, это ограничивает способность машин оптимально удовлетворять наши предпочтения, но как будто не препятствует нам создавать машины, позволяющие избежать катастрофических результатов.) Формальная задача F решается машиной в данном случае для максимизации человеческих предпочтений применительно к будущему с учетом изначальной неуверенности в их содержании. Кроме того, пусть предпочтения относительно будущего суть скрытые переменные, они опираются на обильные фактические свидетельства, а именно на все человеческие решения, которые когда-либо были приняты. Эта формулировка позволяет обойти проблему, обозначенную Винером: конечно, машина способна узнавать о человеческих предпочтениях все больше и больше, но она никогда не добьется здесь полной определенности.

Более точное определение возможно дать в рамках совместного обучения с обратным подкреплением (CIRL)^[39]. Тут задействуются два агента, один из которых – человек, а другой – робот. При двух агентах возникает ситуация, которую экономисты характеризуют как игру. Это игра в частичную информацию, поскольку человеку известна функция вознаграждения, но робот о ней не знает, хотя задача робота состоит в ее максимизации.

Вот простой пример: предположим, что некая женщина по имени Гарриет коллекционирует скрепки и канцелярские булавки, и для нее функция вознаграждения определяется знанием о том, сколько образцов каждого вида имеется в коллекции. Точнее, если у нее есть p скрепок и s булавок, то коэффициент счастья равен θ_p + (1 – θ) s, где θ есть фактически обменный курс между скрепками и булавками. Если θ равно 1, ей нравятся только скрепки; если θ равно 0, ей нравятся только булавки; если θ равно 0,5, то у нее нет предпочтений, и т. д. Робот Робби занимается производством скрепок и булавок. Смысл игры в том, что Робби хочет сделать Гарриет счастливой, но не знает значения θ, поэтому не уверен, какое количество каждых нужно произвести.

Вот как развивается игра. Пусть истинное значение θ равно 0,49, то есть Гарриет немного предпочитает булавки скрепкам. Давайте предположим, что Робби наделен неким предварительным мнением о θ, то есть он считает, что θ с равной вероятностью может иметь любое значение от 0 до 1. Гарриет проводит небольшую демонстрацию, показывает две скрепки для бумаг или две булавки – либо по одной из каждых. После этого робот может изготовить либо девяносто скрепок, либо девяносто булавок, либо по пятьдесят тех и других. Можно подумать, что Гарриет, которой больше нравятся булавки, следовало бы показать две булавки. Но в этом случае рациональным ответом Робби было бы изготовление девяноста булавок (с общим значением для Гарриет 45,9), что для Гарриет менее желательно, чем по пятьдесят штук тех и других (общее значение 50,0). Оптимальным решением конкретной игры будет демонстрация одной булавки и одной скрепки со стороны Гарриет, вследствие чего Робби затем изготавливает по пятьдесят булавок и скрепок. Способ развития игры тем самым побуждает Гарриет «учить» Робби, пока она считает, что Робби внимательно следит за происходящим.

В рамках CIRL можно формулировать и решать проблему выключателя – то есть разобраться, как помешать роботу деактивировать свой выключатель. (Тьюринг может покоиться с миром.) Робот, который не уверен в предпочтениях человека, действительно выигрывает от выключения, поскольку он понимает, что человек берется за выключатель, чтобы робот не сделал чего-то, противоречащего этим предпочтениям. Потому у робота имеется стимул не мешать выключению, и этот стимул напрямую связан с его неуверенностью относительно предпочтений человека^[40].

Пример с выключателем предполагает наличие ряда шаблонов разработки контролируемых агентов и демонстрирует минимум один случай доказуемо благоприятной системы (в том смысле, о котором говорилось выше). В целом этот подход побуждает вспомнить о задачах проектирования механизмов в экономике, когда кто-то стимулирует других вести себя так, как это выгодно ему. Ключевое отличие состоит в том, что мы конструируем одного агента на пользу другому.

Есть основания полагать, что этот подход может доказать свою эффективность на практике. Во-первых, налицо обилие письменных и визуальных (фильмы) свидетельств человеческих действий (на которые реагируют другие люди). Технологии построения моделей человеческих предпочтений из этого массива данных, вероятно, появятся задолго до создания сверхразумных систем ИИ. Во-вторых, роботы наделяются сильными краткосрочными экономическими стимулами к пониманию человеческих предпочтений: если какой-то скверно спроектированный домашний робот примется готовить на обед кошку, не осознавая, что ее «сентиментальная ценность» выше пищевой ценности, индустрия домашних роботов мгновенно прогорит.

Впрочем, существуют очевидные трудности, поскольку этот подход предполагает, что робот будет изучать основные предпочтения в человеческом поведении. Люди иррациональны, непоследовательны, слабовольны и ограничены в своих вычислительных способностях, поэтому их действия далеко не всегда отражают их истинные предпочтения. (Возьмем, к примеру, двух человек, играющих в шахматы. Обычно кто-то проигрывает, но не нарочно!) Поэтому роботы могут обучаться на нерациональном человеческом поведении только при посредстве тщательно проработанных когнитивных моделей человека. Кроме того, практические и социальные ограничения будут препятствовать максимальному удовлетворению всех предпочтений одновременно, а это означает, что роботам придется выступать посредниками между конфликтующими предпочтениями, взваливая на себя бремя, под которым философы и социологи изнемогали на протяжении тысячелетий. Кстати, чему роботы должны научиться у людей, которые наслаждаются страданиями других? Возможно, лучше обнулить такие предпочтения в роботических вычислениях.

Поиск решения задачи управляемости ИИ чрезвычайно важен; быть может, это, цитируя Бострома, «главная задача нашей эпохи». До сих пор исследования в области ИИ фокусировались на системах, которые лучше принимают решения, но это не то же самое, что принимать наилучшие решения. Алгоритмы могут максимизировать превосходно, а модель мироздания может быть сколь угодно точной, однако выбор машины окажется беспросветно глупым в глазах обычного человека, если функция полезности робота плохо согласована с человеческими ценностями.

Эта задача требует изменить само определение ИИ – нужно отказаться от привязки к «чистому» интеллекту, без учета цели, и впредь рассматривать конструирование систем, доказуемо полезных для человека. Если мы всерьез займемся данной задачей, это, как представляется, откроет перед нами новые горизонты осмысления ИИ, его целей и наших отношений с машинами.

Глава 4
Третий закон

Джордж Дайсон

историк науки и техники и автор книг «Каяк «Байдарка», «Дарвин среди машин», «Проект «Орион»» и «Собор Тьюринга».

В 2005 году Джордж Дайсон, историк науки и техники, посетил корпорацию «Гугл» по приглашению ряда тамошних инженеров. Поводом стала шестидесятая годовщина доклада Джона фон Неймана о возможности создания цифрового компьютера. После визита в «Гугл» Джордж написал очерк «Собор Тьюринга», где первым среди ученых предупредил общественность о планах корпорации и ее основателей по покорению мира. «Мы сканируем все эти книги не для того, чтобы их могли прочитать люди, – объяснял один из инженеров. – Мы сканируем их, чтобы их читал ИИ».

Джордж предлагает противодействовать цифровому наступлению. Его научные интересы разнообразны: тут и история алеутского каяка, и эволюция цифровых вычислений и телекоммуникаций, и происхождение цифровой вселенной, и несбывшиеся мечты о покорении космоса. Его карьера (он не закончил среднюю школу, но позднее сделался почетным доктором Университета Виктории) столь же невероятна, как и его книги.

Ему нравится отмечать, что аналоговые вычисления, которые ранее считались вымершими заодно с дифференциальным вычислителем^[41], благополучно возродились. Он утверждает, что мы используем цифровые компоненты, но в определенный момент аналоговые вычисления, выполняемые системой, намного превышают сложность цифрового кода, с помощью которого эта система создавалась. Он считает, что подлинный искусственный интеллект – с аналоговыми контурами управления, возникшими из цифрового «субстрата» подобно тому, как цифровые компьютеры появились из аналоговых после Второй мировой войны, – не так далек, не исключено, как принято полагать.

В своем очерке Джордж рассматривает различия между аналоговыми и цифровыми вычислениями и приходит к выводу, что аналоговый метод жив и здоров. Реакцией природы на попытку запрограммировать машины для управления всем на свете могут оказаться машины без программирования, над которыми никто не властен.

Историю вычислений можно разделить, так сказать, на Ветхий и Новый Заветы: до и после появления электронных цифровых компьютеров и распространения кодов, ими порожденных, по всей Земле. Пророками Ветхого Завета, заложившими основы компьютерной логики, были Томас Гоббс и Готфрид-Вильгельм Лейбниц^[42]. К пророкам Нового Завета принадлежат Алан Тьюринг, Джон фон Нейман, Клод Шеннон и Норберт Винер. Они создали машины.

Алану Тьюрингу было интересно, что необходимо для того, чтобы машины сделались разумными. Джон фон Нейман задавался вопросом о том, что потребуется для самовоспроизводства машин. Клод Шеннон искал ответ на вопрос, что понадобится для обеспечения надежной связи между машинами, независимо от силы шума. Норберт Винер задумывался над тем, сколько времени уйдет у машин на то, чтобы стать самостоятельными.

Предостережения Винера насчет систем управления, неподвластных человеческому контролю, прозвучали в 1949 году, как раз когда появилось первое поколение электронных цифровых компьютеров с хранимыми в памяти программами. Эти системы требовали прямого контроля со стороны людей-программистов и тем самым как бы опровергали его опасения. В чем проблема, пока программисты контролируют машины? С тех пор и по сей день споры о рисках самостоятельности увязывались и увязываются с дебатами о возможностях и ограничениях кодированных цифровыми способами машин. Несмотря на их удивительные способности, налицо весьма скромные проявления самостоятельности. Впрочем, предаваться самоуспокоенности опасно. А что, если на смену цифровым машинам придут какие-то другие?

За минувшие сто лет электроника претерпела два фундаментальных изменения – переход от аналога к цифре и переход от вакуумных ламп к печатным платам. Тот факт, что эти переходы происходили вместе, не означает, что они неразрывно связаны. Цифровые вычисления производились с использованием ламповых компонентов, тогда как аналоговые вполне возможно выполнять с применением плат. Аналоговые компьютеры, если угодно, живы и здоровы до сих пор, несмотря на фактическое исчезновение вакуумных ламп из коммерческой эксплуатации.

Никто не в состоянии провести строгое различие между аналоговыми и цифровыми компьютерами. Цифровые вычисления больше опираются на целые числа, двоичные последовательности, детерминированную логику и идеальное время, делимое на дискретные приращения, тогда как аналоговые вычисления оперируют действительными числами, недетерминированной логикой и непрерывными функциями, в том числе временем как континуумом, каким оно воспринимается в реальном мире.

Вообразите, что вам нужно отыскать середину дороги. Можно замерить ее ширину с любыми допусками, а затем вычислить цифровым способом среднее значение до ближайшего допуска. Или можно трактовать отрез веревки в качестве аналогового компьютера, сопоставить ширину дороги с длиной отреза и определить середину, без необходимости делать допуски, просто удвоив длину веревки.

Многие системы используют в работе как аналоговый, так и цифровой режимы. Дерево объединяет широкий спектр входных данных в виде непрерывных функций, но если его срубить, вы обнаружите, что оно считало прожитые годы в цифровом виде.

В аналоговых вычислениях сложность заключается в сетевой топологии, а не в коде. Информация обрабатывается как непрерывные функции значений, например напряжение и относительная частота импульсов, а не посредством логических операций над дискретными строками битов. Цифровые вычисления, нетерпимые к ошибкам и неоднозначностям, зависят от исправления ошибок на каждом этапе. Аналоговые вычисления допускают ошибки и дают определенную свободу действий.

Природа использует цифровое кодирование для хранения, репликации и рекомбинации последовательностей нуклеотидов, но полагается на аналоговые вычисления в нервной системе с точки зрения разумности и контроля. Генетическая система каждой живой клетки представляет собой компьютер с программой в памяти. А вот мозг – нет.

Цифровые компьютеры выполняют преобразования между двумя разновидностями битов: теми, которые репрезентируют различия в пространстве, и теми, которые репрезентируют различия во времени. Преобразования между этими двумя формами информации, последовательностей и структур подчинены компьютерному программированию, и, пока компьютерам требуются люди для программирования, мы сохраняем контроль.

Аналоговые компьютеры тоже опосредуют преобразования между двумя формами информации – структурой в пространстве и поведением во времени. Но здесь нет кода и нет программирования. Каким-то образом – мы не до конца понимаем, как именно, – Природа создала аналоговые компьютеры, известные нам как нервная система; эта система накапливает информацию, полученную из внешнего мира. Она способна учиться. В частности, нервная система учится контролю. Она учится контролировать собственное поведение, а также максимально подчинять себе свое окружение, насколько это возможно.

Компьютерная наука имеет долгую историю – восходящую к временам, когда не было никакой компьютерной науки, – применения нейронных сетей, но по большей части это были имитации нейронных сетей с помощью цифровых вычислительных машин, а не нейронные сети как таковые, эволюционировавшие в дикой природе. Ситуация начинает меняться, причем как снизу вверх, поскольку тройственная движущая сила (беспилотные дроны, автономные транспортные средства и мобильные телефоны) стимулирует разработку нейроморфных микропроцессоров, которые воспроизводят реальные нейронные сети, а не их имитации, прямо в кремнии (и прочих потенциальных субстратах), так и сверху вниз, поскольку наши крупнейшие и наиболее успешные компании все чаще обращаются к аналоговым вычислениям, стремясь охватить и покорить весь мир.

Пока мы спорим о разумности цифровых компьютеров, аналоговые вычисления тихо и незаметно превосходят цифровые, точно так же, как аналоговые компоненты наподобие вакуумных ламп стали применяться по-новому для конструирования цифровых компьютеров после Второй мировой войны. Индивидуально детерминированные процессоры конечных состояний, работающие с конечными кодами, формируют крупные, недетерминированные метазонные организмы неконечных состояний, привольно существующие в реальном мире. Итоговые гибридные аналоговые/цифровые системы обрабатывают потоки битов совместно, тем способом, каким поток электронов обрабатывается в вакуумной лампе, а не по отдельности, подобно битам в устройствах с дискретным состоянием, генерирующих поток. Биты суть новые электроны. Аналог вернулся, и его назначение – взять на себя управление.

Управляя всем, от потока товаров до дорожного трафика и потока идей, эти системы действуют статистически, как закодированная импульсной частотой информация обрабатывается в нейроне или мозге. Возникновение разума привлекает внимание Homo Sapiens, но на самом деле нас должно беспокоить расширение самостоятельности. Вообразим, что на дворе 1958 год и нам нужно защитить континентальную территорию Соединенных Штатов Америки от потенциальных воздушных атак. Чтобы выявлять вражеские самолеты, потребуется, помимо сети компьютеров и радиолокационных станций раннего предупреждения, карта всего коммерческого воздушного движения, обновляемая в режиме реального времени. США создали такую систему и назвали ее SAGE (полуавтоматическая наземная среда). Система SAGE, в свою очередь, породила Sabre, первую интегрированную систему бронирования авиабилетов в режиме реального времени. Система Sabre и ее «потомки» вскоре сделались не просто картой свободных мест в самолетах, а этакой сетью с децентрализованным управлением, которая начала определять, где и когда летать авиалайнерам.

Но разве нет где-нибудь пункта управления, где кто-то сидит за пультом? Возможно, нет. Скажем, вы разрабатываете систему картографирования дорожного движения в режиме реального времени, всего-навсего предоставляя автомобилям доступ к карте в обмен на сообщение их скорости и местоположения в данный момент. Результатом будет полностью децентрализованная система управления. Нигде не найдется никакой управляющей модели, кроме самой системы.

Представьте, что идет первое десятилетие XXI века и вы хотите отслеживать сложность человеческих отношений в режиме реального времени. Если речь о социальной жизни небольшого колледжа, можно создать исходную базу данных и поддерживать ее в актуальном состоянии, но обновление такой базы станет отнимать все больше времени по мере ее разрастания. Лучшим вариантом будет раздавать бесплатные копии простого полуавтономного кода с локальным хостингом и позволить социальной сети обновляться самостоятельно. Этот код обрабатывается цифровыми компьютерами, но аналоговые вычисления, выполняемые системой в целом, намного превышают по сложности базовый код. Результирующая импульсно закодированная модель социального графа сама становится социальным графом. Она широко распространяется по всему кампусу, а затем и по всему миру^[43].

Что, если вам захочется построить машину, способную узнать, что означает все на свете, известное человечеству? С учетом закона Мура оцифровка всей доступной информации не займет много времени. Вы сканируете каждую когда-либо напечатанную книгу, собираете все когда-либо отправленные электронные письма и накапливаете видео на сорок девять лет просмотра каждые двадцать четыре часа, отслеживая, где люди находятся и что они делают, в режиме реального времени. Но как вывести из всего этого смысл?

Даже в эпоху господства цифры смысл невозможно определить сколько-нибудь строго логически, потому что смыслы и значения для людей не являются сугубо логичными. Лучшее, что вы можете сделать, собрав все возможные ответы, – это составить тщательно продуманные вопросы и нарисовать основанную на анализе импульсов карту взаимосвязей. Прежде чем вы это поймете, ваша система не только займется наблюдением и отображением значений, но и начнет конструировать значения. Со временем она станет контролировать значения, как карта трафика начинает контролировать поток уличного движения, даже если никто не контролирует ситуацию непосредственно.

* * *

Существуют три закона искусственного интеллекта. Первый известен как закон Эшби, в честь кибернетика У. Росса Эшби, автора книги «Конструкция мозга»; он гласит, что любая эффективная система управления должна быть не менее сложной, чем система, которой она управляет.

Второй закон, сформулированный Джоном фон Нейманом, гласит, что определяющая характеристика сложной системы такова: она представляет собой простейшее описание собственного поведения. Простейшей полной моделью организма выступает сам организм. Попытка свести поведение системы к любому формальному описанию усложняет ситуацию, а не делает ее проще.

Третий закон утверждает, что любая система, достаточно простая для ее понимания, не сумеет усложниться настолько, чтобы начать вести себя разумно, тогда как любая система, достаточно сложная для того, чтобы вести себя разумно, будет слишком сложной для понимания.

Третий закон утешает тех, кто верит, что нет нужды беспокоиться насчет сверхчеловеческого интеллекта, возникающего среди машин, пока мы не постигнем саму суть разума. Но в этом третьем законе есть лазейка. Вполне возможно построить что-то, не понимая его сути. Нет необходимости понимать в мельчайших подробностях, как работает мозг, чтобы создать его работоспособную копию. Эту лазейку не помогут прикрыть никакие надзоры за алгоритмами со стороны программистов и их советников по этике. Условно «благой» ИИ есть миф. Наши отношения с подлинным ИИ всегда будут строиться на вере, а не на факте.

Мы слишком много думаем о машинном интеллекте и уделяем недостаточно внимания самовоспроизведению, коммуникациям и контролю. Следующая революция в компьютерном мире ознаменуется возвышением аналоговых систем, над которыми утратит власть цифровое программирование. Ответ Природы тем, кто верит, что возможно создать машины, контролирующие все на свете, будет заключаться в том, что им позволят создать машину, которая станет контролировать их самих.