Главной чертой современного - постгуманистического - общества стал стремительный рост так называемых интеллектуальных технологий и их значение в нашей жизни. Всего за десять лет “человек разумный” превратился в “человека оцифрованного”, и мы вновь оказались перед выбором - куда идти? Продолжать верить в то, что нам настойчиво навязывают как упрощенный вариант “прогресса” и не оставляют выбора? Или увидеть, что мир в действительности движется в обратном направлении? Стоит ли свобода и полное уничтожение частной жизни тех “удобств”, которые нам предлагают всевозможные приложения, датчики и скрипты? Действительно ли были трудности в “неподключенном" мире столь обременительны, что мы готовы дематериализоваться - то есть, уйти в небытие - ради того, чтобы нечто разогрело удаленно духовку в “умном доме”, прислало такси, заказало обед в ресторане и проголосовало на выборах? О том, кому и зачем выгодно нас всех оцифровать и почему мы не обязаны принимать безоговорочно догмат веры техноутопистов, рассуждает Адам Гринфильд в книге “Радикальные технологии”.


Те, кто работает над автоматизированными системами, предпочитают говорить о дополнении, а не о замещении людей.Они рисуют картины смешанных команд, работающих в дружеской атмосфере. Если допустить, что никто из них не испытывает бессознательного влечения к закату и вымиранию человеческого рода, то объяснений повальной цифровизации может быть несколько.
Во-первых, это масштабность интеллектуального вызова и желание всемирной славы. Разработчики считают - их будут помнить и чтить наравне с титанами науки и промышленности. По крайней мере до тех пор, пока сохранится наш вид.
Во-вторых, это возможность заработать деньги. Поэтому есть инвесторы, вкладывающие ресурсы в развитие технологических систем. И пока это приносит прибыль, будут существовать те, кто готов отдать свою душу и тело, что бы это ни предвещало в будущем.
В-третьих, несмотря на прогресс, жизнь все еще ставит перед нами задачи, которые нас утомляют, вызывают отвращение, опасны или просто мы их не в силах преодолеть. Так не лучше ли (по мнению немалого числа людей) слиться с “системами”, которые никогда не испытывают скуки и способны работать бесконечно безо всякого присмотра?
В итоге мы создали среду, где ритмы, материальные и энергетические потоки определяются уже не нашими потребностями, сколько потребностями систем. Номинально они еще служат нам, но человеческое восприятие и желания больше не являются главными мерилами ценности.

Техноутописты или, скорее “инновационные” компании, получающие немалые деньги из бюджетов за внедрение и продвижение электронных систем во все сферы человеческой жизни, пытаются нас убедить - в отличие от людей с их личным мнением и предрассудками, алгоритмы безгрешны и независимы, поэтому все их решения (точнее, расчеты) априори справедливы.
Что далеко не так. Сеть может обучаться исключительно благодаря тому, что соединение между любыми двумя нейронами имеет некоторую силу, численный вес, величина которого может модулироваться в любое время программистом, то есть, человеком, занимающимся обучением алгоритма. А сам процесс тренировки заключается в манипулировании этими весами с тем, чтобы усилить определенные нейронные пути, ответственные за распознавание, и исключить активацию тех путей, которые привели бы к неправильной интерпретации изображения.
Если лишить машинное обучение ореола тайны, то оно будет представлять собой попытку распознавания образов в мире через автоматизированный анализ очень больших массивов данных.
Поначалу, когда алгоритму будет даваться новое изображение, он будет отвечать наобум. Но по мере того, как будут отлаживаться веса ответов, он научится распознавать признаки, по которым идентифицируется каждый из представленных ему вариантов и в конце концов придет к заключению - к какой марке относится автомобиль, виновен ли подсудимый и достоин ли проситель пособия по безработице.
Но вот будет ли его ответ объективным, справедливым или хотя бы соответствующим действительности? Не факт. Если в процессе обучения ему показывали только красные автомобили определенной марки, в определении машины синего цвета у алгоритма возникнут проблемы.

Еще один вопрос - смещение. Бывает - и гораздо чаще, чем мы предполагаем - что даже после интенсивного тренинга алгоритм не сумел приобрести никаких существенных знаний о выборке целевых объектов, поэтому бьет наобум в темноте, не колеблясь навешивая метки. К примеру, скандальный пример с Google Image, который идентифицировал изображения чернокожих людей как “горилл”, так как на всех фото с меткой “люди”, которые ему давали при обучении, были только светлокожие.
Или программа Google Deep Dream, которую обучали на Dog Dataset - то есть, на подборке изображений, сделанной для конкурса, и где алгоритм должен был научиться различать различные породы собак. Взращенная на такой выборке система стала воспринимать только то, чему ее обучили. Поэтому любое изображению чего бы то ни было прогонялось снова и снова, резко усиливая признаки “собачности”.
Все это хоть и смешно, (а для кого-то и оскорбительно) но не трагично, так как ситуация статична, инструкторы-программисты никуда не спешат и могут отредактировать результат. Сложность задачи возрастает, когда системы сталкиваются с динамическим многомерным пространством решения, к примеру, когда необходимо вести машину в потоке транспорта, избегая аварий. По задумке разработчиков, программа, управляющая автомобилем, должна в реальном времени интегрировать быстро меняющуюся среду, состояние двигателя, изменения в погодных условиях и в принципе непредсказуемое поведение пешеходов, велосипедистов и других случайных объектов, которые встречаются на пути. Таким образом, для машин без водителя, дронов, роботов и других систем, которые будут иметь дело с реальным миром, главная проблема - обучение без учителя. Такие алгоритмы не получают никаких подсказок и руководства, им дается полная свобода действий для работы с обширными данными. Порядок зарождается сам.

По крайней мере, так считается. Но у искусственного интеллекта (что бы это ни было) есть глубокая проблема, которая замалчивается. Многие из вещей в нашем мире трудно четко артикулировать и, следовательно, выразить в форме исполнимого кода. Наш мозг делает эти вещи рутинно и неосознанно. Мы знаем, что чашка - это чашка, стоит ли она целая на столе или лежит разбитая на полу. Но именно потому, что мы сами не понимаем процесс, при помощи которого находим решение, мы не в состоянии закодировать его в виде инструкций, которыми могут пользоваться вычислительные системы.

Последствия подобного провала могут фатальными. Только один пример - компания Tesla создала долгожданное устройство под названием “автопилот”. Илон Маск радостно заявил, что теперь каждый водитель будет “учить свой автомобиль, просто включив этот режим, что это составит замечательный материал - миллионы миль подробнейших данных о вождении, которые будут добавляться в коллективное хранилище, адаптируясь, делясь информацией и улучшаясь”. Ничто из этого не спасло водителя, погибшего, когда “автопилот” его Tesla на полной скорости направил машину в борт грузовика-тягача, не распознав белый борт на фоне ярко освещенного неба. Программа не снизила скорость - потому что не “видела”, ради чего это нужно делать.

Но даже без подобных трагических случаев уже проверено - большое количество данных никак не улучшает качество принятия решений. Как бы ни доказывали правительства и корпорации, что технологии сбора и обработки верифицируемы и неподвержены порче, это не так. Хотя бы потому, что базы данных создавались разными инженерами, продавались разными продавцами, выходили на рынок в разное время и использовались в разных контекстах и культурах.

В “доцифровую” эпоху мы носили, к примеру, в банк квитанции об оплате коммунальных услуг, которые являлись подтверждением проживания по этому адресу, в другие организации - свидетельство о браке, военный билет или медицинскую карту. Реальная стоимость этих клочков бумаги подтверждалась официальным штампом, подписью выдавшего ее чиновника, заверена нотариусом. Мы сами несли ответственность за то, чтобы они бережно хранились, пока в них нет надобности.
А затем началась повальная дигитализация. Если опять убрать завесу тайны, то выглядит она так. Некий человек (или группа людей), получающий минимальную зарплату (или практикант) начинает переносить вручную в базу своей организации все те данные, которые мы ему предоставили. Причем поскольку он (или она) лицо особо незаинтересованное, то в систему перейдут все ошибки, опечатки, неправильная транслитерация и все прочее, что можно ожидать от наемного почасового работника. Именно с этим связано огромное число упущенных возможностей, впустую растраченных усилий, задержек и ошибок. У историй людей, попавших в мясорубку обработки данных, остается горький кафкианский привкус, да и на коммерции это отражается самым сюрреалистическим образом. Хаос, путаница и разбазаривание средств вызваны тем, что информация, от которой зависит ваша способность действовать в реальном мире, разбросана по тысячам баз данных, ни одна из которых не согласуется с остальными. “Истина”, которую они производят, сильнейшим, принципиальным образом фрагментирована.

Кроме того, мир Big Data накрывает человека невидимым колпаком, делая его уязвимым и зависимым больше, чем когда-либо в истории. Фашизм и коммунизм разбили жизни миллионов людей, но им не удалось их переделать и сделать прозрачными.
Сейчас мы почти полностью зависим как в интеллектуальном, так и в финансовом плане от системы, которая последовательно определяет условия обмена якобы более комфортной жизни на свободу. Даже идя по улице и бессознательно лелея надежду, что мы изолированы в своей неприкосновенной частной жизни, мы находимся под наблюдением алгоритмов, распознающих лица. Что не только уничтожает нашу способность сохранять анонимность, но и подрывает эффективность постоянной угрозы того, что разозленное население может выйти на улицы в поисках справедливости - а именно это всегда было сдерживающим фактором для власти.
В этом свете можно увидеть то, чем на самом деле являются алгоритмы - рядом технических контрмер, направленных против свободы, и шагами на пути к исчезновению прав, которыми мы пользовались с момента появления общественности.

Еще более пугающий аспект - с помощью электронных систем мы строим мир, в котором никогда не узнаем причин того, что с нами происходит. Это звучит как фильм ужасов или теория заговора, рожденная в голове параноика. Но это факт - мы окружены невидимыми, но могущественными силами, которые следят за нами через устройства, разбросанные по нашему дому или размещены на теле. Эти силы деловито собирают досье на всех нас, передают содержание этих досье неведомым посредникам, которые используют все, что знают, чтобы задавать структуру возможностей. Нас будут брать или не брать на работу, давать или не давать кредит, оказывать или не оказывать медицинские услуги. Но никто не понимает, какое наше действие (или бездействие) привело к этому результату.
Ведь наша способность следить за тем, как власть алгоритмов осуществляется в человеческом мире, осложняется непроницаемостью этих систем. И эта непрозрачность не дает понять - действуют ли алгоритмы в соответствии с нашими ценностями?

Еще один важный факт, о котором “техноутописты” никогда не упоминают, а большинство населения не желает задумываться. Мы - люди - существа материальные и живем в мире, где до сих пор все, что на Земле существует, можно было потрогать, увидеть и ощутить. Весь человеческий прогресс был основан именно на этом. Нам было холодно - и мы строили здания. Не вкусно было есть сырую пищу - мы придумали печь, чтобы ее готовить, и начали выращивать приправы к ней. Эмпирическим путем мы поняли, что отходы нашей жизнедеятельности приводят к заразным болезням, поэтому изобрели канализацию, водопровод и целую систему переработки мусора. Когда нам становилось скучно, отправлялись путешествовать, открывали новые земли, заселяли их и снова строили там дома. Даже такие эфемерные чувства как, например, любовь, оставляли вполне материальное наследие - в виде переписанных, а затем и перепечатанных книг или зданий театров, куда мы пока еще приходим, чтобы посмотреть на живых актеров, играющих в пьесах, написанных пятьсот и более лет назад.

С массовым внедрением в нашу жизнь радикальных технологий процесс глобальной дематериализации становится очевидным. Когда даже такие мелочи, как открывание входной двери переосмысливается в виде цифровой транзакции, оно начинает исчезать из виду, и следовательно, из сознания. Уже давно пропали адресные книги, бумажные записные книжки, бумажные же карты, во многих отелях и “умных домах” нет ключей, а в наших кошельках - фотографий детей. И кто знает, в какой-то момент может оказаться, что “подключенным” уже не нужна горячая вода, туалет, холодильник или плита на кухне.

…Нескончаемый поток оповещений, которые передает смартфон, нарезает наше время на нервные, шизоидные отрезки, и вполне возможно, полностью лишает нас способности концентрировать внимание в промежутках между ними. Светящемуся куску поликарбоната всего десять лет, но для большинства жителей планеты (по крайней мере, развитых стран) он стал незаменимым посредником в общении с реальным миром. С его помощью мы покупаем продукты и вещи, заказываем такси и столик в ресторане, находим дорогу, оплачиваем счета…и убиваем время.
В последователе мобильного телефона (созданного вроде бы с той же целью - возможности для человеческого общения) есть часы, будильник и календарь, но подавляющая часть его функциональности обеспечивается скачиванием из интернета приложений. С помощью которых, кажется, можно делать вообще все, что угодно, не выходя из дома.
Что, в общем-то, и сделало смартфон вещью почти утопической, тем, на что мы смотрим в первую очередь, когда просыпаемся, и в последнюю - когда засыпаем. И уже не представляем, как мы жили без этого всего десять лет назад.
Опять же, мало, кто задумывается - какова расплата за эту сбывшуюся мечту?
И главное - кому выгодна наша тотальная зависимость?
Вместе с подключенным смартфоном мы впустили в самые тайные сферы нашей жизни организации, занимающиеся техническими стандартами, регулирующие органы разного уровня и бизнес-корпорации. Наша способность выполнять самые обыденные обязанности - к примеру, оплачивать счета или заказывать то же такси - теперь зависит от множества непрозрачных факторов: от свойств электромагнитного спектра до нашей ежеминутной способности подключаться к сети.
Кроме того, вся наша повседневная жизнь эволюционирует уже не со скоростью человеческого общества, а гораздо более быстрыми темпами, характерными для цифровых технологий. А когда такие разные занятия, как фотосъемка, прослушивание музыки или оплата счета начинаются с запуска приложения на одном и том же устройстве, они неизбежно унифицируются. Что ограничивает наш подход к миру еле уловимыми, но навязчивыми способами.
Да и сама наша личность оказывается размазанной по глобальной сетке узлов и связей.

Как и смартфон, интернет вещей представляет из себя комплекс протоколов и режимов восприятия, которое связывает лишь одно - стремление донести нашу обычную жизнь до сети, которая могла бы ее анализировать и реагировать соответствующим образом.
Например, попытки инструментализировать тело, отслеживать его поведение и получать на основе этих данных информацию, которую можно пустить в дело, красиво называются “quantified self” - “измерь себя”. Тут и простые шагомеры, и более сложные модели, мониторящие частоту пульса, дыхания, потоотделения, а потом по этим чисто биологическим данным определяющие наши психоэмоциональные состояния - стресс, скуку или возбуждение.
Самый безобидный пример - электронные книги, “читающие” нас, пока мы читаем скачанный текст. Через короткое нашему вниманию предложат другие книги, которые - согласно обработанным данным - мы купим, так как они могут вызвать наш интерес.
Или Apple Watch, которые не пошли как часы, но в программе “познай себя через цифры” поддерживаются крупными медицинскими страховыми компаниями.
Пока еще в виде “пряника” - скидок на льготные взносы.

В “умном доме” все направлено на то, чтобы исключить процесс размышления между осознанием желания и его удовлетворением с помощью рынка. Так, корпорация Amazon продвигает устройство под названием Dash Buttom, единственная функция которого состоит в том, что если вы нажимаете на него, когда у вас кончается стиральный порошок, туалетная бумага или кофе, оно автоматически составляет заказ и отправляет его в Amazon. Эта же компания предлагает “умные колонки” Echo, голосовую помощницу Алекса (у Google - Siri, у Microsoft - Кортана)
Все они кажутся вполне безобидными (почему бы не поразвлечься на досуге), но мы забываем (или не знаем) что они действуют по логике упреждающего перехвата. Это приводит к пока еще комическим историям. Так, например, когда по радио передавали материал, посвященный Echo, устройство, расположенное в домах слушателей, восприняло это как команду к действию и переключило термостат на странную температуру в 70 градусов по Цельсию.

Что касается общественного пространства в целом, то, к примеру, корпорация Siemens обещает оснастить города “бесчисленными автономными умными системами, которые будут иметь самое полное знание о привычках пользователей и предоставлять им оптимальные услуги”. Топ-менеджеры бьют себя в грудь и заявляют “данные - это данные, кристально ясные и неиспорченные человеческой слабостью”. Это все так. Но если, к примеру, всего на несколько метров изменить высоту установки метеорологических датчиков, то можно получить совсем другие данные загрязнения воздуха в том же месте.
Кроме того, люди, которые живут в городах, придерживаются множества конкурирующих между собой представлений о благе. Поэтому предлагать одно решение для всех - по меньшей мере неосторожно.

…Может показаться странным, что столь обширный ряд технологий имеет какой-то определяющий эмоциональный тон, но у интернета вещей он есть - это меланхолия.
В то, что он предлагает, неявно вписано представление о внутренних состояниях и домашней жизни, разрушенной бессмысленными рабочими местами, перегруженным графиком, о неспособности или неготовности эмоционально выкладываться.
Но какие бы искренние опасения мы не испытывали, самое важное отрезвляющее обстоятельство - это вопрос о том, кто в конечном итоге станет владельцев данных, которые мы сбрасываем в интернет вещей? И что он решит с ними делать?

В 1936 году все голландские муниципалитеты обязали провести учет своих жителей. Каждый из них к 1939 году должен был иметь документ, удостоверяющий личность, в котором, в том числе, была графа “национальность”. Картотека велась на перфокартах системы Hollerith, являющейся на тот момент самым передовым методом хранения и обработки данных.
А в 1940 году - после вторжения в Голландию немцев - перфокарты и машины для их чтения оказались в руках у гестапо, и более ста тысяч голландских евреев были отправлены в концентрационные лагеря.
История полна подобных примеров. Режимы меняются, гостайны выходят наружу, компании терпят крах, их поглощают и вся их собственность переходит в чужие руки.
Такова мрачная реальность, стоящая за формулой Фуко “власть - знание”.
К сожалению, сегодня мы не просто позволяем высасывать информацию из наших городов, домов и тел, но и делаем это с готовностью и энтузиазмом.
Молчаливая сделка, которую нам предлагает автоматизация, заключается в том, что в обмен на некоторое улучшение наших возможностей (реальное или воображаемое) мы отказываемся от собственной свободы действий и уступаем контроль над ситуацией.

Знаменитый американский писатель-фантаст ХХ века Филипп Дик определил реальность как “то, что не уходит, даже когда мы перестаем в это верить”. Именно непреложное качество доступности для всех - кого угодно, в любое время, когда захочется - является главным достоинством реальности. По крайней мере, это единственная платформа, которую мы разделяем, и общая почва, от которой можем отталкиваться.
Заменить это общее пространство миллионами разъединенных и не стыкующихся друг с другом индивидуальных “дополненных реальностей” - значит отказаться от любых притязаний на то, чтобы пребывать в одном и том же мире.
А это вступает в противоречие с общей идеей человечества.
Места, в котором материальная среда перестает быть общей системой координат, окажутся - и это самое меньшее - негостеприимными для демократии, солидарности и просто товарищеских чувств.

Впрочем, представлять будущее путем линейной экстраполяции на него настоящего, самая большая ошибка. Особенно в той крайне неопределенной ситуации, в которой сейчас находится политика, экономика, финансы, экология и общество в целом. Тем более, когда пытаешься оценить нечто столь дестабилизирующее, как вышеперечисленные технологии. Поэтому мы должны выйти за пределы того, что знаем, и рассмотреть разные варианты. Ведь хотя наша способность к действию ограничена историей, структурой власти и игрой случая, именно мы, обычные люди, должны выбирать - какой мир мы хотим создать.
Корпорации и правительства будут продолжать навязывать нам электронные технологии - в целях получения прибыли и сохранения власти, дискриминировать “несогласных”, то есть, “неподключенных” . Но вопрос не в том, что наши технологии позволяют нам делать, а в том, что мы собираемся делать с нашими технологиями. Какие решения нужно принять уже сейчас, чтобы достичь желаемых результатов? И к чему мы придем, если не будем делать вообще ничего?
Никто не знает, как это будет - чувствовать себя человеком в постчеловеческий момент, когда все наши способы оценки мира станут операцией, вводящий фактор бесконечности в расчет.
И если еще можно понять, почему в это будущее так спешат те, кто верит - пусть и по недомыслию - что выиграют от этого больше других, и что власть их сохранится,
то зачем туда спешат все остальные?