Если бы инженеры строили мосты и самолеты так же, как программисты, венчурные и прочие «инновационные» компании разрабатывают электронные системы, то самолеты бы не летали, а по мостам невозможно было бы ходить. Религиозный экстаз, который окружает так называемый “искусственный интеллект”, обещающий бессмертие и комфорт, мешает нам осмыслить факт, что создается всего лишь имитация процесса мышления. О том, к чему приведет безрассудное совершенствование опасных технологий, рассуждает Джеймс Баррат - режиссер, оператор и автор книги “Последнее изобретение человечества”.

К идее столь пессимистично звучащего названия его подоткнуло общение с инженерами, робототехниками и фантастами, включая Артура Кларка c его высказыванием -“чем совершеннее техника передачи информации, тем более заурядным, пошлым и серым становится ее содержание”.
Но действительно ли все так плохо? Вполне возможно, считает автор книги.
Еще в 1993 году профессор математики Вернор Виндж употребил слово “сингулярность” при описании технологического будущего. Он провел аналогию с точкой на орбите черной дыры, дальше которой свет с ее поверхности не проникает и невозможно увидеть - что происходит за “горизонтом событий”. Ученый сравнил развитие электронных систем с гравитационными силами черной дыры, которые настолько сильны, что никто не сможет вырваться оттуда.

С 1950-го года ни один компьютер так и не прошел тест Тьюринга. Ведь сознание, как и разум - скользкая тема. И тому, и другому сложно дать определение и абсолютно невозможно “рассчитать”. Люди это просто интуитивно чувствуют.
Впрочем, компьютеру совсем не обязательно думать, как человек. Ему всего лишь необходимо убедительно притвориться и выдавать на все вопросы человекоподобные ответы. Хотя те, кто зарабатывают миллиардные состояния на продаже “умных алгоритмов” тщательно скрывают, что их “изобретения” - всего лишь попытка воспроизвести через компьютер базовый мыслительный процесс человека (или животного). Но как механический протез никогда не сможет заменить настоящую руку, также и нейронная сеть - человеческий мозг.
Выживание наших предков сотни миллионов лет зависело от умения действовать в физическом мире. Именно на на этом опыте развилось чутье, которое в какой-то момент подсказывает нам - нападать, бежать или искать укрытие. Люди принимают огромное количество решений, основываясь именно на интуиции, а не на каких-то логических умозаключениях.
У сосредоточенных же исключительно на достижении запрограммированных целей алгоритмов ни интуиции, ни других чувств нет, поэтому в своей “работе” они будут всего лишь тщательно избегать исходов, при которых цели удовлетворяются не так оптимально, как могли бы. В итоге любая самосовершенствующаяся система, ориентированная на решение той или иной задачи, дойдет до нелепых - с человеческой точки зрения - крайностей. К примеру, когда компьютер высчитает, что женщины реже умирают от чрезмерного употребления алкоголя, чем мужчины, то не понимая причинно-следственную связь (женщины меньше пьют) придет к выводу, что способ снижения смертности заключается в проведении операций по смене пола для мужчин.
Добавьте к этому закон прогрессирующей отдачи. Цифровизация накатывается на нас, как грузовой состав, который на каждом километре удваивает скорость.
В итоге “умная система безопасности”, установленная дома, в какой-то момент просто не выпустит вас из квартиры. А устройство, у которого вы попросите счастья, введет вас в кому, подключит к системе жизнеобеспечения и начнет беспрерывно стимулировать центры удовольствия.
При этом алгоритм “не захочет”, чтобы его выключали или портили - просто потому, что в этом случае выполнение задач станет невозможным.

…На данный момент “искусственный интеллект” - словосочетание универсальное и готовое заткнуть собой любой пробел в знаниях, повествующих на эту тему.
Но начав копать глубже, автор книги наткнулся на множество препятствий.

- Моя профессия, - пишет он, - поощряет критическое мышление. Режиссеру-документалисту всегда приходится быть настороже. Каждый раз необходимо думать: не слишком ли увлекательной выглядит история, чтобы быть правдивой. Можно потратить несколько месяцев, а то и лет, снимая или монтируя фильм о подделке. Однажды телекомпания попросила меня сделать фильм, используя кадры с НЛО. Я обнаружил, что видеоряд представляет собой давно разоблаченный набор фальшивок - от подброшенных в воздух фарфоровых блюдец до двойной экспозиции и других оптических эффектов. Я предложил сделать фильм не про НЛО, а про тех, кто делает эти фальшивки. Меня уволили.

C искусственным интеллектом дела обстоят еще сложнее. Мало, кто может обьяснить: что это. Еще меньше - как это работает. И никто - куда его создание и развитие приведет. Хотя уже сейчас плодами так называемого ИИ пользуются многие: начиная от оформления кредита за десять минут до редактирования фотографий.
Компьютеры заменили людей в финансовой системе, транспортной инфраструктуре, системе электро и водоснабжения. Они заняли место врачей в больницах, водителей в автомобилях, не говоря уж о бытовых приборах, ноутбуках, планшетах и смартфонах. Многие из этих компьютеров - например те, которые выполняют биржевые алгоритмы купли-продажи - работают автономно, без участия человека. В итоге появились конструкции настолько сложные, что мы не в состоянии предвидеть все возможные сочетания их сбоев и отказов. Особенно уязвимы системы, чьи компоненты “сверхкриптически связаны” - то есть, непосредственно и значительно влияют друг на друга.

В 2010 году из-за долгового кризиса в Греции никому не известный брокер запаниковал и выставил на продажу инвестиционные фонды, имеющие отношение к Европе. Алгоритмы высокочастотного трейдинга тут же уловили падение цены некоторых акций. Пытаясь удержать прибыль, они автоматически запустили распродажу, которая заняла несколько миллисекунд. В ответ на более низкую цену другие алгоритмы так же автоматически начали покупать одни и продавать другие акции. Началась цепная реакция, в результате которой индекс Доу-Джонса упал на 1000 пунктов. На все про все ушло двадцать минут. Люди не успели вмешаться - никто не предвидел, что события могут так подействовать друг на друга и никто не понял, что происходит.
Это только один пример. Специалисты по финансовым рискам признают, что “создали монстра, которого уже не в состоянии контролировать”.

А человечество в целом не хочет осознать, что цена, которую мы платим за якобы сэкономленное время и рабочие ресурсы - наша свобода. Мы с каждым днем все сильнее и сильнее зависим от компьютеров.
Считается, что пока безболезненно. Тем более, тот или иной алгоритм предоставляет сервис, безусловно, быстрее человека. Возьмем, к примеру, авиаперелеты. Еще десять лет назад для этой задачи требовался специалист, владеющий программой Amadeus или ее аналогами. Хотя со стороны составление такого маршрута выглядело, скорее, как написание кода - с десятками сокращений, отступов, точек и цифр, которое занимало всего пятнадцать минут.
А может и через сорок пять - если человек за компьютером в программе не разбирался, терялся в синтаксисе или не мог вспомнить все трехзначные сокращения аэропортов.
Сейчас любой из десятка агрегатов авиабилетов (Momondo, Anywayanyday, Aviasales) делает то же самое в промежуток между одной восьмой и одной четвертью секунды. А остаток времени тратит на подбор отелей, заказ такси на основе собранных cookies. Так что после покупки авиабилета вы еще долго будете получать предложения съездить на сафари и гражданство ЕС за 1600 евро.
Как только алгоритмы научились пользоваться Amadeus (а между позицией “не умеет пользоваться” и “уже умеет” могла пройти всего минута) миллионы людей обрели свободу путешествий.
Хотя степень свободы - понятие относительное. Алгоритм выдает итог, который нам остается только принять. Он без всякого злого умысла просто не покажет детали - из-за вашего кредитного рейтинга, гражданства, политической обстановки в мире или конкуренции с очередной корпорацией. Просто потому, что программист изначально ввел в электронную систему те или иные личные предпочтения.
Или свою безграмотность и лень.

В 2016 году одна из компаний, занимающихся подбором персонала, поглотила пару соперников и столкнулась с ситуацией, когда количество желающих воспользоваться ее услугами выросло чуть ли не в три раза. На помощь отделу кадров был брошен простейший алгоритм (стоящий, правда, больше, чем весь персонал HR-отдела). Он “рассматривал” предыдущий опыт работы (автоматически проверяя профили в социальных сетях) образование, место жительства, и даже фотографии.
Последние и стали причиной скандала. Чем дольше работал алгоритм, тем меньше на собеседованиях появлялось людей с темным цветом кожи.
Обрела ли машина самосознание и стала расистом? Нет, разумеется. Писал ли алгоритм программист, хранящий свастику в подвале? Вряд ли. Просто программа собрала все данные и просчитала, что за предыдущие двенадцать лет люди с не белым цветом кожи гораздо реже других соискателей получали вакансию. После чего сделала абсолютно логичный вывод, что вызывать их на собеседование вовсе не стоит.

В Хельсинском университете на открытой лекции, посвященной интеграции ИИ в ежедневную жизнь, один из лекторов привел вот такой пример:
- Представьте, что вы открываете ресторан. Подготовив бизнес-план, вы с сожалением обнаруживаете, что чуть ли не треть всех расходов приходится на персонал. И тут компания Х делает вам предложение. В соответствии с ним на кухне устанавливается большой черный куб. После подключения его к розетке и системе вентиляции загорается три зеленых светодиода. На одной из граней куба находится отверстие, куда помещаются ингредиенты - соль, перец, мясо, картошка, яйца и так далее. На противоположной - ниша, где ровно через шесть минут после заказа появляется готовое блюдо.
Для чистоты эксперимента представим, что вкусовые качества ничем не отличаются от произведений лучших кулинаров. Видите, мы сразу избавились от множества проблем. Заказ клиент делает через приложение в смартфоне, которое поможет составить его так, чтобы раскрыть каждое блюдо и дополнить правильными напитками. Благодаря этому кубу большая часть трат на персонал тут же исчезает. С кухни пропадают несколько поваров, и остается один человек, который раз в час подходит к отверстию в кубе, засыпая туда ингредиенты.
При этом, если вы купили дешевую версию, то класть продукты нужно в правильном порядке и каждые полчаса, если дорогую - то сыпать можно из одного ведра и раз в день. В итоге на счету ресторана остается больше денег, которые можно потратить на рекламу или покупку новой программы для куба.


Получается почти идиллия (если считать, что блюда по-прежнему хороши). Разумеется, возможны проблемы. Например, утка по-пекински больше не появляется ровно через шесть минут, порция десерта стала вполовину меньше, а один из трех зеленых огоньков теперь мигает. Следуя инструкции, можно позвонить в службу поддержки и дождаться приезда специалиста. Который, в свою очередь откроет инструкцию, пару раз перезагрузит устройство, может быть, заменит один из запасных блоков на другой, но работа ресторана в целом продолжится. Только вот ни вы, ни человек забрасывающий ингредиенты, ни приехавший специалист, ни даже члены совета директоров компании, продавшей вам черный куб, не имеют ни малейшего представления - как именно он работает. Что происходит внутри - загадка, даже если результат и удовлетворяет клиентов. Возможно, теперь десерт всегда будет вполовину меньше, а говядина полностью исчезнет из всех блюд. А может, аппарат “передумает” и все вернется на круги своя.

В конце лектор провел опрос - сколько из присутствующих готовы поверить в такую бизнес-модель и вложить в нее свои деньги?
Голоса разделились. Те, кто был готов перейти на нее, привели немало логичных доводов, которые сильно отличались в зависимости от возраста отвечающего, его опыта в предпринимательстве и финансов в распоряжении.
У тех же, кто сомневался в успешности, ответы были похожи - как можно полагаться на то, чего не понимаешь?
Доводы эти вполне обоснованные. Только вот человечество в глобальном плане уже отдало гораздо более серьезные области своей жизни тому, в чем оно абсолютно не разбирается. Банковские транзакции, выдача кредитов, рекламные компании, наем персонала, продление рецептов, государственные инвестиции - всем этим и многим другим занимается то, что называется модно - искусственный интеллект - но на самом деле “черные ящики”. Но вот действуют ли эти “ящики” в наших интересах или уже в “своих?”

Страх перед тем, что новая технология отнимет работу, разрушит устои и отнимет смысл жизни не является “фишкой” двадцать первого века. Всем известные луддиты громили ткацкие станки, даже несмотря на то, что наказанием тогда являлась смертная казнь. Британские магнаты до хрипоты доказывали, что шахтерам вполне достаточно кирки и вагонетки, которую тянет запряженная лошадь.
Сегодняшними “противниками прогресса” стали грузчики, водители, упаковщики, доставщики и прочие “синие воротнички”. Причем они боятся не того, что их заменят роботы, а что машины ими уже руководят.

К примеру, Amazon, ставший синонимом “злой корпорации”, одним из первых перешел на “автоматическое руководство”. Несколько сотен человек работает под начальством программы. “Надзирают” за ними два менеджера, которые тоже следуют “подсказкам” алгоритма. (Впрочем, эти “подсказки” нельзя не выполнять)
Задача условного Джона - брать предмет из секции А (подсвечивается автоматически), нажать на кнопку, поместить предмет в секцию Б (подсвечивается после нажатия кнопки), после чего начать сначала. По официальной версии подсветка появилась, чтобы упростить работу человека. А вот по мнению сотрудников - чтобы еще сильнее ускорить процесс и устранить моменты “микроотдыха”. (Этот термин сложно отнести к традиционным “перекурам”. Скорее, к возможности просто вздохнуть, посмотреть перед собой, размять руки или почесать нос. Алгоритму подобные действия показались бессмысленными, и с его “точки зрения” это абсолютная правда).

Добившись очередного роста показателя упакованных товаров в минуту, компания решила не останавливаться. Физиологи, врачи и спортивные тренеры отдали на откуп программе максимально эффективный способ снять предмет с движущегося контейнера и положить в коробку.
И вот сортировщик Смит замечает, что после трех месяцев работы у него начинается жжение в спине. Семейный терапевт дает простую рекомендацию - больше сгибать колени, меньше напрягать спину. Однако несовершенное тело Смита тратит на смену положения коленей больше времени, чем на официально одобренное “фирменное” движение. В итоге Смит получает повреждение двух межпозвоночных дисков. Но “заботливый” Amazon уже установил на рабочем месте торговые автоматы с обезболивающими и противовоспалительными. А заодно с кисломолочными продуктами и соками - чтобы желудок не слишком быстро превращался в решето из-за постоянного поедания таблеток.
При этом алгоритм действует полностью в рамках заданной программы. Он учитывает тысячи разных переменных, не забывает заказать упаковочную бумагу, коробки, оплатить электричество и даже пополнить запас анальгина. Но вот необходимость “микроотдыха” ему недоступна - хотя бы потому, что у него нет спины, которая может болеть.
Физическое и нравственное выгорание сотрудников никак не влияет на процессы. Алгоритмы настолько детально определяют задачи рабочих, что их очень легко заменить. Не нужны ни навыки, ничего не нужно, кроме очень быстрой работы.
Что удивительно - снизить число теплокровных сотрудников не удалось. Алгоритмы и роботы задали такой темп, что компании пришлось увеличить штат в два раза.
Кроме того, оказалось, что заменять машинами людей, занимающихся тяжелым или изнурительным трудом, корпорациям не выгодно. Да, в перспективе это дает преимущество, но если компании надо делать деньги сегодня, то лучше и дешевле людей пока ничего придумать не удалось. Это касается и доставщиков еды (дроны дорогие и требуют подзарядки), и таксистов (разработка автопилота не по карману подавляющему большинству компаний)

При этом слежкой за чисто механической работой дело не ограничилось. Кремниевые “боссы” взялись за эмоции. Например, операторов кол-центров. Сначала алгоритмы помогали составлять “скрипт” для беседы с клиентом. И с этим программа справилась замечательно. Ведь у звонящих в страховую компанию по поводу личного автомобиля или служебного ноутбука вопросы, в принципе, одинаковые. А в зависимости от ответов можно увести разговор в нужную сторону. Алгоритм как раз помогал составить сотню подобных сценариев на основе базы данных.
Затем программам разрешили вмешиваться в сугубо человеческие отношения между клиентом и сотрудником фирмы. Работница колл-центра страховой компании, внедрившей программу Voci для оценки качества разговоров, считает, что алгоритм постоянно выявляет негативные эмоции при разговорах.
“Voci “училась” на нескольких тысячах телефонных разговорах, помечая те или иные интонации, действия или даже паузы как удачные или нет. Поэтому сотруднице предлагали извиняться, когда звонящий смеялся над ее шутками, говорить громче, если клиент слишком долго молчал, и произносить фразы, которые увеличивали эмоциональный отклик. Если оператор не следовала “рекомендациям”, рейтинг падал. После определенного значения другая программа ограничивала часы работы такого сотрудника. Или вовсе лишала смен.

Бывший заместитель министра обороны США Уильям Линн принимал непосредственное участие в разработках программ безопасности и поэтому имеет полное право говорить - “биты и байты могут нанести угрозу не меньшую, чем пули и бомбы”. Другие специалисты на подобный вопрос отвечают зловещим молчанием или слабо кивают на оборонщиков. Ну а мы предпочитаем считать, что все утрясется: ведь не может невидимое творение кибермира войти в наш и нанести реальный и серьезный вред.
Но возьмем, к примеру, любую национальную энергосистему. Ей уже давно управляет “умная сеть”, которая вроде как должна повысить эффективность использования электроэнергии. Проблема же заключается в том, что эта “умная система” оказывается более уязвимой для катастрофических последствий, чем не такая уж тупая прежняя.
При этом трудно назвать организации, которые не получают энергию от этой общей “умной системы”. Банки, больницы, автозаправочные станции, организации по очистке и доставке воды в дома…
И даже военные.
Около десяти лет назад министерство внутренней безопасности США провело эксперимент по киберразрушению подключенного к интернету турбогенератора. Оказалось, что для этого потребовалось всего лишь зайти в “админку” сайта и чуть изменить настройки. Через очень небольшое время турбину разорвало
изнутри.

Уязвимость, которую хотели исследовать в этом эксперименте - привычка подключать контрольную аппаратуру принципиально важного оборудования к интернету, чтобы управлять дистанционно. При этом аппаратуру “защищают” паролями, шифрованием и другими средствами. Но любой, кто захочет, может пройти сквозь эту “защиту” без особого труда - ведь разработчики делают “задние двери” для всех одинаковыми, и “ключи” от них знает любой более-менее грамотный программист.
Да и в целом, когда создавался интернет, о безопасности даже не думали.
Еще пример - американская же компания Enron, занимающаяся как раз продажей электроэнергии, решила поднять свою прибыль, проведя “фантомную” (ложную) сетевую перегрузку в доставке потребителю. Калифорнийские бюрократы в панике подавали энергию в одни районы, одновременно погружая во мрак другие. Массовой гибели людей это, к счастью, не вызвало, но испугало очень многих - к примеру, целые семьи оказались запертыми в лифтах. Зато Enron заработала на этом миллионы.

…Техномыслители выдвинули предположение о том, что информация - это форма жизни. Следовательно, компьютерная программа воспроизводит сама себя и растет почти по биологическим законам. И хотя разум никогда не возникнет просто из сложности как таковой, в суперкомпьютерах уже сформированы виртуальные миры. В какой-то момент “технический прогресс” просто выскользнет из человеческих рук.

Представьте себе, - пишет Джеймс Баррат, - что вы очутились в узилище, охраняемом мышами. И не просто мышами, а мышами, с которыми вы можете общаться. Какую стратегию вы используете, чтобы обрести свободу? Например, вы можете предложить им рецепт самого вкусного в мире сырного пирога, а также устройство для его молекулярной сборки, позволяющее превращать ближайшие свалки в большие порции этого пирога. Кроме того, вы можете пообещать горы мышиных денег или резкое увеличение продолжительности жизни обмен на свободу. Но главное - вы убедите их, что их маленькому мозгу, склонному заблуждаться, не придется больше заниматься технологиями настолько опасными, что даже крохотная ошибка станет фатальной для их биологического вида. Отказаться от такого соблазнительного предложения вряд ли возможно. А теперь предположим, что ничего из обещанного не осуществится, и что алгоритмы вообще никогда не говорят правды. У нас совершенно нет опыта такого общения - человечество пока не имело деловых отношений ни с одним не биологическим существом. Машины - аморальны, и считать иначе - опасно. Хотя бы потому, что у них нет выкованного миллионами лет эволюции чувства дружелюбия, сострадания и справедливости.

Тем не менее, в публичном секторе тема рисков, связанных с совместным существованием на планете человечества с кремнием, обладающим интеллектом, достаточно поверхностна и пока всерьез не рассматривается. Прежде всего потому, что она не в мейнстриме. Все, что связано с радикальными технологиями, априори считается прогрессивным и инновационным.
Кроме того, в нашем сознании есть то, что психологи называют “ошибкой доступности”. К примеру, ядерные электростанции и террористы в самолетах - это оружие одноразового действия. Событие происходит, а потом мы начинаем разбираться с последствиями. Но в варианте ИИ действует программа, которая совершенствует сама себя и может существовать вечно. Как в таком случае разобраться с последствиями катастрофы, которая, раз начавшись, может продолжаться до бесконечности?

Именно это опасение, что человечество в итоге проиграет самосовершенствующимся алгоритмам, заставило специалиста из Кремниевой долины провести эксперимент под названием “ИИ в ящике”. Роль ИИ играл он сам, “охранников” - миллионеры, сделавшие себе состояние как раз на всевозможных интернет проектах. Их задача состояла в удержании ИИ взаперти. Но при помощи одной только клавиатуры специалист каждый раз умудрялся вырваться и таким образом выиграл все пари. При этом он использовал не какие-то логические формулы и сложные вычисления - он просто пресмыкался, упрашивал и разглагольствовал. Он поклялся больше никогда не повторять этот тест, так как испытал ради выигрыша слишком много унижения.

Алексей Табаков

Уважаемые читатели!
В связи с тем, что по требованию финских бюрократов счет издателя "Новости Хельсинки"
(European values) будет закрыт 20 января, у вас есть еще две недели, чтобы поддержать независимую прессу
и самих себя.
IBAN: FI84 1745 3000 1810 00
BIC: NDEAFIHH