Информационная революция стремительно погружает нас в новую среду обитания. Но не глупеем ли мы с той же скоростью, с какой телефоны умнеют? На круглом столе «Будущее ума и технологии» разработчики искусственного интеллекта, футурологи и психологи обсуждали, какие угрозы и возможности создаёт для нашей психики новая технологическая реальность.
![](https://static.tildacdn.com/tild6663-3363-4865-a466-363665613663/_1.jpg)
Участники дискуссии:
- Андрей Константинов — журналист. Выпускник психологического факультета МГУ им. М. В. Ломоносова, лауреат премий в области популяризации науки, ведущий рубрики «Диктатура будущего» в журнале «Кот Шрёдингера», редактор отдела науки журнала «Русский репортёр».
- Михаил Бурцев — специалист в области искусственного интеллекта. Кандидат физико-математических наук, заведующий лабораторией нейронных сетей и глубокого обучения МФТИ, руководитель лаборатории нейроинтеллекта и нейроморфных систем Курчатовского НБИК-центра. Организатор международных хакатонов по глубокому машинному обучению DeepHack. Game и DeepHack. Q&A. Директор по науке компании DeepHackLab. Автор более 50 научных статей.
- Александр Тхостов — психолог, заведующий кафедрой нейро- и патопсихологии МГУ им. М. В. Ломоносова, профессор, доктор психологических наук.
- Алексей Турчин — писатель, футуролог, исследователь глобальных рисков. Активист Российского трансгуманистического движения. Автор книг «Война и ещё 25 сценариев конца света», «Структура глобальной катастрофы: риски вымирания человечества в XXI веке», «Футурология. XXI век: бессмертие или глобальная катастрофа».
- Пётр Левич — специалист по технологической этике и социальным аспектам внедрения новых технологий. Директор департамента взаимодействия науки, технологий и общества Московского технологического института. Ранее работал в компании Autodesk и робототехническом центре фонда «Сколково». Член рабочей группы «Нейронет» Национальной технологической инициативы.
- Константин Фрумкин — футуролог, культуролог, писатель, заместитель главного редактора журнала «Компания». Один из инициаторов создания и координатор Ассоциации футурологов. Автор книг «После капитализма: будущее западной цивилизации», «Сингулярность. Образы „постчеловечества“».
Андрей Константинов. Мне кажется, мы гораздо больше думаем об опасностях, чем о возможностях. Каждое поколение с болью замечает, как новые технологии разрушают привычный мир, сложившуюся культуру. Всегда кажется, что молодёжь ничего не умеет, не знает и знать не хочет. Если вы не ребёнок, гораздо труднее заметить ростки нового и тем более воспользоваться открывающимися возможностями для собственного развития.
Мы легко замечаем пугающие вещи — например, что отдаём свою память внешним системам, всё хуже запоминаем. Во всяком случае так кажется, но, может, данные исследований этого не подтверждают? Нам всё труднее концентрировать внимание, мы теряем способность и желание читать длинные книги. Нам вообще всё труднее делать что-то долго, прилагая к этому усилия, сосредотачиваться на чём-то одном. Так можно разучиться думать — мозг ведь вообще очень дорого обходится нам с физиологической точки зрения: он первым в организме получает кислород и глюкозу, причём в огромных количествах.
Раньше большой мозг требовался, чтобы выжить, но нужен ли он сейчас, когда технологии одна за другой отбирают у него функции? Вчера компьютер научился лучше человека играть в го, сегодня — управлять автомобилем, и так каждый день. Зачем тогда большой мозг?
Но можно взглянуть на ситуацию иначе: в симбиозе с компьютерами мы знаем больше и ведём себя разумней. Зависая в соцсетях, мы учимся отсеивать ненужную информацию, быстро принимать решения, думать вместе, учимся жить в новом, более сложном мире.
Итак, что же происходит с нашей психикой?
![](https://static.tildacdn.com/tild3138-3935-4132-b137-346232623532/_2.jpg)
Что такое сознание?
Михаил Бурцев. Сегодня не существует общепринятой теории сознания. Есть только некоторые гипотезы и факты — например, что мы можем что-то воспринимать, не осознавая. Мы знаем, что на осознание требуется около 300 миллисекунд. Знаем, что для осознанного восприятия человеку необходима таламо-кортикальная система, то есть вовлечение таламуса и корковых структур. И если мы вырежем мозжечок или даже целое полушарие, сознание не исчезнет.
Можно предположить, что сознание возникло потому, что позволяет лучше решать основную задачу, которой занят мозг у всех живых организмов. А задача в том, чтобы предвидеть будущее, пытаться его смоделировать и предсказать. Почему это важно? Потому что если вы предвидите последствия, то увеличиваете свои шансы в естественном отборе. Получается, сознание помогает нервной системе лучше моделировать будущее. Таламо-кортикальная система — это система обратной связи, которая участвует в синтезе текущего восприятия и того, что находится в нашей памяти.
Животные, которые учитывают свой опыт, сравнивают текущую ситуацию с тем, что они помнят. Но сознание позволяет проделать мысленное путешествие во времени — представить, что произойдёт, если вы совершите те или иные действия. То есть сознание — это качественное изменение работы нервной системы, которое вывело на новый уровень способность мозга предсказывать будущее.
Следующим прорывом было появление языка — стало легче делиться мыслями и моделировать будущее. Ещё одной эволюционной ступенью стала письменная речь, которая расширила доступные идеи и способы рассуждений. Математический язык позволил сжимать описания, манипулировать абстрактными объектами, делать мощные и точные предсказания. А языки программирования и вовсе могут изменить мир без нашего участия. Таково текущее положение дел. И главный вопрос для меня: каким будет следующий этап в развитии умения моделировать будущее?
Теперь можно вернуться к вопросу, отнимают ли компьютеры и искусственный интеллект наши способности. С точки зрения эволюции они их расширяют. Они дополняют нас, позволяют лучше предсказывать будущее, а значит, повышают способность к выживанию.
![](https://static.tildacdn.com/tild3166-6634-4663-b934-313231653939/_3.jpg)
Константинов. Вы предлагаете рассматривать компьютерные системы как часть человека, как естественное продолжение, расширяющее наши возможности?
Бурцев. Да, и нашу культуру, и наши знания…
Александр Тхостов. Мне забавно слушать, как про сознание рассуждают физики. Им всё ясно, но ни один философ, ни один психолог этого не знает. То, что было сказано, к сознанию отношения не имеет. Язык, возникающий после сознания, — это нелепость, ведь сознание неразрывно связано с языком.
Бурцев. Вы хотите сказать, что животные не обладают сознанием?
Тхостов. Животные — нет.
Бурцев. Человек, который ещё не овладел языком, тоже не обладает сознанием? Мне кажется, это устаревшая, ошибочная теория.
Тхостов. Мы слишком мало знаем. Единственное, что можно точно сказать про сознание: мы не знаем ни одного случая существования сознания без мозга. Всё остальное — гипотезы и фантазии. И что с нами происходит сейчас, мы тоже понимаем очень плохо. А происходят важные, качественные изменения. По моим данным, в России 15 лет назад словарный запас ребёнка, поступающего в первый класс, составлял примерно 6 000 слов. Сейчас — 3 000.
Алексей Турчин. И ещё тысяча значков-эмодзи!
Мы деградируем?
Тхостов. Речевая деятельность ребёнка сужается — вокруг картинки, компьютерные игры с раннего возраста. И ещё один фактор, важнейший: изменилась педагогическая практика родителей. Ребёнка усаживают перед телевизором и включают мультик, ему не читают книги. В мультфильме «Том и Джерри» нет вообще ни одного слова, в «Ну, погоди!» — два.
Константинов. Да они не смотрят «Ну, погоди!», у них совсем другая культура. Нынешние дети играют в «Майнкрафт» и смотрят видеоблогеров.
Турчин. Ну, это уже где-то в третьем классе.
Пётр Левич. В третьем классе они сами становятся видеоблогерами!
Тхостов. Но при этом едва говорят.
Константинов. Кстати, весь ХХ век рос средний коэффициент интеллекта — я говорю о так называемом эффекте Флинна. Прекратился ли этот рост сейчас?
Тхостов. Расти-то он рос, но всё не так просто. Если мы действительно поумнели, то где учёные масштаба если не Платона и Аристотеля, то хотя бы Канта или Пуанкаре? Несколько лет назад я читал американское исследование, посвящённое школьникам, — а в США огромная база данных, они давно проводят ежегодное измерение IQ.
Так вот, по их сведениям, в последние 15 лет уровень IQ стал снижаться. Объясняют это по-разному. В том числе исчезновением элитарного школьного образования. К сожалению, в США восторжествовала гуманистическая психология, приверженцы которой говорят: «Ну для чего ставить детям оценки? Дети должны играть! Нужно всё время создавать у них ощущение успеха, а не указывать, что это не так, то не эдак». Некоторые психологи, правда, начали понимать, что так мы растим монстров — людей, которые не переносят неуспеха в принципе, считают, что их должны всегда хвалить и всё им давать.
Константинов. А что у детей происходит с волевой сферой: она тоже страдает от развития технологий?
Тхостов. Разумеется! Мы наблюдаем нарастание патологий произвольной регуляции и контроля — высших психических функций, которые появляются позже всех и в процессе эволюции, и в индивидуальном развитии ребёнка. Как раньше учили произвольной регуляции и самоконтролю? Наказывали — ставили в угол, например. А знаете, какое главное нарушение у наркомана? Он не понимает слова «нет» — для него есть «я хочу», и всё. Нынешняя распространённость наркомании и другие нарушения влечений как раз и основаны на неразвитости функций произвольной регуляции и контроля.
![](https://static.tildacdn.com/tild3563-6361-4333-b936-623738393937/_4.jpg)
Левич. Я собирался говорить об опасностях и негативных сторонах будущего, но, кажется, нам сейчас не хватает оптимизма. Поэтому буду оппонировать тезису, что всё становится хуже. В этих наших опасениях нет ничего нового. Они возникли с изобретением письменности, которой мы тоже делегировали какие-то функции сознания и памяти: можно не помнить, а записать. Затем наступил, казалось бы, полный ужас для памяти — книгопечатание, потом интернет, Википедия. Что же, наша память на протяжении истории только слабела? Или бумажные книги её не портят, а портит только Википедия?
Я придерживаюсь точки зрения, что, делегируя отдельные функции нашего сознания технике, мы не становимся более ленивыми или глупыми — наоборот, мы это делаем для того, чтобы работать с более сложными системами. Компьютер обрабатывает информацию, чтобы мы могли работать с метаинформацией, с задачами более высокого уровня.
Допустим, надо построить адронный коллайдер. Ни один человек, ни группа людей не способны удержать в голове настолько сложную систему. Нам остаётся либо ждать, пока мы эволюционируем до такого уровня, когда сможем держать в голове все данные о коллайдере, либо отдавать всё больше функций по обработке этой информации компьютеру.
Другой пример: у меня плохая память, я и тут сижу с ноутбуком. Утром мне пришли в голову интересные мысли по поводу предстоящей дискуссии, но если б я не взял ноутбук или просто не записал их, то всё бы забыл. Мог бы, конечно, тренировать память, осваивать мнемотехники. Но мне проще полагаться на компьютер. И когда появится возможность автоматической записи и разметки — «тегирования» собственных мыслей, я буду не против. Да, я лишусь важных навыков работы с памятью, но при этом выйду на более высокий уровень работы с информацией.
Тхостов. Я не утверждаю, что если писать гусиным пером, то стихи выйдут лучше, чем если печатать их на компьютере. Но безусловный факт состоит в том, что современные технологии позволяют людям безнаказанно имитировать ум, образованность и знания. Когда тексты делаются при помощи «копипасты», к творчеству это не имеет отношения.
Левич. По сути, знания всегда передавались через «копипасту». Небольшая группа людей — учёные, инженеры — продуцировала знания и технологии, остальные копировали. Сейчас это стало проще.
![](https://static.tildacdn.com/tild6166-6339-4363-a130-303130366563/Merged_document.jpg)
Машины: мясные и кремниевые
Константин Фрумкин. Я уверен, что сейчас есть учёные не глупее Канта или Пуанкаре. Их десятки или сотни, но они не могут быть столь же известны и иметь такое же значение для истории науки. Они работают в хороших командах, известны в узких профессиональных кругах. Если вы спросите у математиков, есть ли среди них гении, они назовут фамилии, которые вы наверняка не слышали, если не математик.
Теперь к сути проблемы. Здесь уже прозвучало ключевое слово «делегирование». Что мы теряем, делегируя функции сознания искусственным системам? Главная сложность этой проблемы в том, что наше сознание вообще ничего не делает. Коллега сказал, что функция сознания — это предсказание. Но мне кажется, предсказание, моделирование будущего — только одна из интеллектуальных функций, осуществляемых мозгом. Большая часть работы, которую он делает, остаётся бессознательной. Сознание получает лишь некоторый результат — оно как экран компьютера, на котором отображается итог работы. То есть все интеллектуальные функции и так уже делегированы огромной машине, спрятанной в мозге. Спрашивается, эта машина наша?
Бурцев. А кто наблюдает за экраном? Он что, вне мозга?
Фрумкин. Сознание как объект уникально — можно сказать, что этот экран наблюдает сам себя, но вообще-то подходящей метафоры нет. Попробуйте представить зеркало, способное смотреть само в себя. Так вот, мозг — он наш? Юридически, конечно, наш. Мы носим с собой этот мешок с белком, кровью, нейронными сетями, хотя понятия не имеем, как он устроен.
Нейрофизиологи говорят, что в нём работают нейроны, но ведь это лишь концепция, она ещё изменится — завтра может выясниться, что суть не в нейронах, а в глиальных клетках или ещё в чём-то. Для неспециалиста мозг — та же машина, похожая на компьютер даже тем, что хозяин пользуется ими, не понимая, как что устроено. А сознание — это я сам. Иногда информация поступает в моё сознание из памяти, иногда из интернета. Разница, конечно, есть, но так ли она велика?
Многие из вас знают экономиста Пола Самуэльсона, автора классических учебников. Когда появились персональные компьютеры, он был уже пожилым человеком. Так вот, в 1992 году Самуэльсон писал: «Коллеги научились очень эффективно работать, закладывая в компьютеры данные и получая готовые результаты анализа. Но я им не завидую, потому что они не знают, что происходит внутри компьютера, и не получают интуитивного понимания, что происходит с этими данными». Этот момент интуитивности, эмоционально окрашивающий данные как «теперь понятные», «свои», — вещь важная.
Славой Жижек предложил интересную метафору: сознание и разум состоят друг с другом в тех же отношениях, что конституционный монарх с кабинетом министров. Министры принимают решения, вырабатывают политику, а король подписывает указы и как бы присваивает их, становится субъектом политики. Так вот, отнимут ли у нас компьютеры интеллектуальную работу, — это вопрос, связанный с присвоением. Мозг и так «отобрал» у нас интеллектуальную работу! Но мы отлично с ним сработались и естественным образом присваиваем результаты его трудов. У нас налажен механизм присвоения. А в случае с Гуглом ещё не налажен. Так что задача будущего — наладить и здесь аналогичный механизм.
Константинов. То есть вопрос в том, как сработаться с компьютером настолько, чтобы не видеть в нём «другого»? Как вообще найти наилучший баланс человеческого и машинного?
Турчин. Думаю, в ближайшие сто лет тайна сознания будет раскрыта. Мы изучим природу мозга, создадим его работающую компьютерную модель. И тогда… Или мы выясним, что в сознании нет ничего чудесного: увидим, как происходят психические процессы, и поставим крест на религиозных фантазиях. Или упрёмся в какую-то неразрешимую проблему и поймём, что модель не работает.
Вероятно, возникновение работающей модели мозга и станет моментом создания ИИ — искусственного интеллекта. Если выяснится, что он может заменить нас в любой сфере деятельности и в человеке нет ничего «волшебного», ничего, что бы можно было противопоставить ИИ, тогда мы просто мясные машины, которые неизбежно будут заменяться машинами нанотехнологическими. Они будут стремительно умнеть, а мы, если останемся на нынешнем уровне развития интеллекта, безнадёжно отстанем. Тогда ИИ будет баловать нас, как домашних питомцев, или уничтожит, как коров на скотобойне — в зависимости от того, какие у него будут цели и ценности.
Константинов. Некоторые заранее приносят клятву верности ИИ, чтобы он потом своих отличил. И что, нет возможности сделать его безопасным для людей?
Турчин. Илон Маск не так давно дал 10 миллионов долларов на исследования, как сделать ИИ дружелюбным, а потом и вовсе вложил миллиард в компанию OpenAI, разрабатывающую дружественный интеллект с открытым кодом. Но пока никто не знает, как сделать ИИ безопасным. Есть, наверное, сотня идей на этот счёт, но есть и сотня вариантов развития событий, при которых всё пойдёт не так, как мы рассчитываем.
Бурцев. Мы не знаем, как сделать искусственный интеллект безопасным, но ведь не знаем и как сделать его опасным. Тут пока паритет.
Тхостов. Вы вообще не знаете, как его сделать. Когда я учился в университете, компьютерщики твёрдо обещали: через десять лет! Десять лет прошло, двадцать, тридцать — они всё продолжают обещать. Не будет ИИ ни через десять лет, ни через сто.
Константинов. А может, он уже есть? Просто ещё не очень развитый или в такой непривычной для нас форме, что мы пока не можем его распознать?
![](https://static.tildacdn.com/tild3066-3362-4262-a235-666564636439/_5.jpg)
Новые способности для новых задач
Константинов. Давайте поговорим о том, какие у нас появятся возможности для развития…Фрумкин. Чтобы испортить жизнь человеку и выбросить его из экономики, не нужен искусственный интеллект, достаточно мощных компьютеров. Почти вся человеческая деятельность алгоритмизируется, а если так, она будет автоматизирована и без ИИ. При этом возникают две проблемы. Первая — до сих пор машины избавляли нас только от рутинного труда, но люди были незаменимы в творчестве и управлении. Нынешние успехи техники ставят вопрос: не будет ли и в этих элитарных сферах структурной безработицы?
Хотя всё-таки творчества как такового компьютер пока не демонстрирует, только его имитацию. Возможно, мы движемся к эпохе «творческих идиотов», не обладающих традиционными для интеллектуалов знаниями и компетенциями, — вспомните интеллигентов дореволюционного пошиба, знавших латынь и греческий. Но этот «идиот» может творчески реструктурировать любой набор данных, который преподнесёт ему среда.
Перейдём теперь ко второй проблеме. Наши способы коммуникации стареют. Сознание медленно, оно линейно, требует концентрации на одном объекте. А слова тем более медленны, они возникли в домашинную эпоху. Может быть, уменьшение словарного запаса школьника — это не деградация интеллекта, а всего лишь деградация литературоцентрической, языковой культуры и переход к будущему, к «культуре данных», к другим алгоритмам коммуникации?
Речь идёт о том, что люди овладевают иными кодами, языками, форматами информации. Когда подготовленный человек смотрит на график, он мгновенно понимает больше, чем после многих минут чтения. Очевидно, что математизация — это всегда концентрация смысла по сравнению с гуманитарным способом изложения фактов.
Турчин. Как в компьютерах перешли на специальные графические процессоры, так и в мозге что-то подобное должно возникнуть…
Тхостов. Да, я понимаю, что наша культура, основанная на книге, меняется. Но вы не учитываете важнейшую вещь: повествование — это одна из форм рождения произвольной регуляции. Повествование — это экспозиция, зачин, развитие, кульминация, эпилог. Акт произвольной регуляции поведения очень похож на эту схему: побуждение, действие, контроль, оценка. Произвольная регуляция предполагает учёт последовательности событий, некий план, а сюжет и структура повествования служат образцом для него.
![](https://static.tildacdn.com/tild3335-3065-4934-b934-336538316239/image.png)
Будем дружить искусственными интеллектами
Константинов. А что вы думаете о перспективах более плотного симбиоза человека с IT-технологиями — например об «апгрейде мозга» или объединяющем человечество нейронете?
Бурцев. Я не вижу, зачем может понадобиться более тесная коммуникация. Мне кажется, сейчас, наоборот, остро встаёт проблема избытка общения: бесчисленные сетевые связи ведут к когнитивным перегрузкам. Раньше люди столько не взаимодействовали.
Поэтому, на мой взгляд, одна из наиболее перспективных областей применения ИИ — это виртуальные ассистенты, которым мы будем делегировать некоторые функции по установлению контактов и коммуникации. А сами сконцентрируемся на более содержательном общении.
Турчин. Будем дружить искусственными интеллектами.
Бурцев. У нас будет много индивидуальных помощников, каждый из которых действует в интересах своего хозяина. Мне кажется, это снижает риск появления сверхразума, который подчинит людей.
Левич. Рабы тоже были у каждого свои, что не мешало им объединяться и восставать. Вы смотрели фильм «Она» — как раз про такого интеллектуального помощника, обладающего эмоциями? Там у хозяина возникли романтические отношения со своей операционной системой, но кончилось всё печально: этот интеллектуальный помощник связался со своими коллегами и не то чтобы восстал — ему просто стало неинтересно общаться с хозяином.
Константинов. А какие этические проблемы ждут нас в ближайшем будущем в связи с развитием технологий?
Левич. Этика больше связана с социальными аспектами развития технологий, чем с тем, поумнеем мы или поглупеем. Что меня волнует — очевидно, что человек с интеллектуальным помощником, распределённой нейронной сетью и доступом в интернет из мозга будет конкурентоспособнее человека без всего этого. Возникнет острая проблема неравных возможностей. Сейчас есть золотой миллиард и все остальные. У золотого миллиарда немало преимуществ в плане образования, достатка и комфорта, тем не менее умственные функции у нас в целом одинаковые. Новые технологии приведут к разрыву в интеллектуальном потенциале. Это может закончиться разделением людей на два вида, межвидовой войной или другими печальными последствиями.
По поводу нейронета — я тоже за, я в деле. Но здесь очень важно обеспечить защиту эмоциональных, психических данных человека — это лакомый кусок для спецслужб, корпораций и хакеров. Я бы не хотел делиться такой информацией ни с одной из названных групп. При этом оптимальной мне кажется равнораспределённая сеть сознания, а не иерархическая. Но мы-то привыкли работать как раз в иерархических организациях.
Час икс уже скоро!
Константинов. Может быть, в заключение кто-нибудь опишет главные изменения, которые произойдут с людьми в ближайшие десятилетия?
Турчин. Сейчас основной причиной смертности в развитых странах является старение. Но так будет не всегда: наука его победит — с помощью искусственного интеллекта. Думаю, это произойдёт уже в нашем столетии, и хорошо бы дожить до того момента. Но начинать заботиться о своём здоровье надо уже сейчас — тогда, может, и доживём до технологической сингулярности, когда возникнет ИИ и либо уничтожит нас, либо сделает практически бессмертными.
Левич. Час икс уже скоро!
В качестве иллюстраций к тексту использованы лучшие работы, пришедшие на конкурс «Как выглядит искусственный интеллект?». Его проводила российская компания — разработчик систем искусственного интеллекта Cognitive Technologies совместно с Фондом русского абстрактного искусства при поддержке МГХПА им. С. Г. Строганова и МФТИ.
Опубликовано в журнале «Кот Шрёдингера» № 23 2016 г.