Искусственный интеллект
Через 5 лет машины станут умнее всех людей на планете вместе взятых
5 цитат футуролога Джеймса Баррата
об искусственном интеллекте
В Россию приезжает американский футуролог и кинодокументалист Джеймс Баррат. Он выступит на конференции «Цифровая индустрия промышленной России-2016» с рассказом об искусственном интеллекте и прогнозами на будущее.
Мы выбрали пять цитат из книги Баррата «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens».
Мы выбрали пять цитат из книги Баррата «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens».
Люди с Марса, ИИ — с Венеры
Мощная система с искусственным интеллектом, получившая задачу обеспечить вашу безопасность, может просто запереть вас дома. Поставите перед ней цель сделать вас счастливым — и она может непрерывно стимулировать центры удовольствия в мозгу. Если вы не дадите ей понять, какое поведение от нее ждете, то она может вытворить что угодно. А поскольку эти системы крайне сложны, вы можете так до конца и не разобраться, правильно вы все сделали или нет.
Как их контролировать?
Загвоздка в том, что мы не знаем, как контролировать машины с суперинтеллектом. Многие считают, что они будут неопасными или даже будут уважать нас. Однако исследование ученого Стива Омохундро показало, что, независимо от того, будет работа ИИ заключаться в бурении астероидов, торговле акциями или управлении энергетической инфраструктурой, он станет задумываться о собственной безопасности и о поиске ресурсов для лучшей реализации своих целей.
Компьютерам не захочется, чтобы их отключали, и поэтому они будут с нами бороться. Омонохундро делает вывод, что цели суперинтеллектуальных машин станут противоречить нашим, если мы настроим их недостаточно четко. У нас есть право спросить себя, как уже сделал Стивен Хокинг: «Перед лицом неисчислимых преимуществ и большого риска делают ли эксперты все возможное, чтобы гарантировать наилучший исход?»
Не делают. Все, за редким исключением, заняты разработкой новых продуктов, а не усилением безопасности или развитием этики. Планируется, что за следующее десятилетие продукты на базе искусственного интеллекта принесут прибыль в триллионы долларов. Разве не логично было бы инвестировать часть этих денег в развитие этики автономных машин, решение проблемы контроля ИИ и гарантированное выживание человечества?
Компьютерам не захочется, чтобы их отключали, и поэтому они будут с нами бороться. Омонохундро делает вывод, что цели суперинтеллектуальных машин станут противоречить нашим, если мы настроим их недостаточно четко. У нас есть право спросить себя, как уже сделал Стивен Хокинг: «Перед лицом неисчислимых преимуществ и большого риска делают ли эксперты все возможное, чтобы гарантировать наилучший исход?»
Не делают. Все, за редким исключением, заняты разработкой новых продуктов, а не усилением безопасности или развитием этики. Планируется, что за следующее десятилетие продукты на базе искусственного интеллекта принесут прибыль в триллионы долларов. Разве не логично было бы инвестировать часть этих денег в развитие этики автономных машин, решение проблемы контроля ИИ и гарантированное выживание человечества?
Холодная война людей с компьютерами
Я бы сказал, что ИИ – это технология двойного действия, подобно ядерному распаду. Ядерная энергия может и давать городам электричество, и уничтожать их. Если ИИ внезапно покажет свою силу, мы можем этого не пережить.
Это можно сравнить со стратегией времен Холодной войны под названием «взаимное гарантированное уничтожение», или MAD. Идея, предполагавшая взаимное исчезновение противников, позволила сохранить мир.
Как и в рамках MAD, в области суперинтеллекта множество ученых тайно работают над созданием технологий с катастрофическим потенциалом. Это похоже на взаимное гарантированное уничтожение, не ограниченное рамками здравого смысла. Никто не знает, какая группа ученых продвинулась дальше всех в своих разработках, а значит каждый будет думать на другого.
Это можно сравнить со стратегией времен Холодной войны под названием «взаимное гарантированное уничтожение», или MAD. Идея, предполагавшая взаимное исчезновение противников, позволила сохранить мир.
Как и в рамках MAD, в области суперинтеллекта множество ученых тайно работают над созданием технологий с катастрофическим потенциалом. Это похоже на взаимное гарантированное уничтожение, не ограниченное рамками здравого смысла. Никто не знает, какая группа ученых продвинулась дальше всех в своих разработках, а значит каждый будет думать на другого.
Машины не могут сочувствовать
В отличие от нашего интеллекта, машинный суперинтеллект не будет развиваться в среде, в которой умение сопереживать ценится и передается следующим поколениям.
Нам конец
Если мы создадим машину с уровнем интеллекта, равным человеческому, через пять лет она будет умнее, чем все люди на планете вместе взятые. Через пару поколений они уже просто будут нас игнорировать. Точно так же, как вы игнорируете муравьев у себя во дворе.
Перевод: Алексей Зеньков.
Материалы по теме:
Алексей Зеньков