Произведение посвящено потенциальным угрозам, связанным с активным развитием искусственного интеллекта (ИИ). С момента публикации в 2013 году технологии приблизились к созданию интеллекта человеческого уровня (УЧИ), что подтверждается достижениями ИИ в таких областях, как победа над чемпионом мира в го и успешное прохождение теста Тьюринга. Однако задачи разработчиков ИИ выходят далеко за рамки создания машин, которые могут обыгрывать человека в игры. Автор обращает внимание на риски, которые остаются малоизвестными широкой аудитории, поскольку средства массовой информации зачастую акцентируют внимание на положительных аспектах развития ИИ. Несмотря на очевидные технологические достижения и перспективы, связанные с решением сложных задач, существует вероятность, что создание ИИ, превосходящего человеческий интеллект, может привести к серьезным угрозам.

Обсуждаются опасности, которые выходят за пределы технических сбоев или зависимости от оборудования. Главная угроза заключается в том, что достаточно развитый ИИ может выйти из-под контроля человека. Неизвестно, как он будет воспринимать людей — как создателей или как препятствие для достижения собственных целей. Возможно, ему будет безразлична судьба человечества, и нет оснований полагать, что ИИ будет подчиняться интересам людей. Аналогия с эволюцией Homo sapiens, произошедших от более примитивных организмов, иллюстрирует, что межвидовые интересы часто противоречат друг другу, что может иметь фатальные последствия для одной из сторон.

Вопрос о возможности программирования ИИ с целью предотвращения вреда человеку рассматривается критически. Часто приводятся законы робототехники Айзека Азимова, предусматривающие запрет причинения вреда человеку, обязательное подчинение и заботу о собственной безопасности. Однако и в самом художественном произведении Азимова эти правила оказываются неприменимыми в ряде ситуаций. Автор сомневается в способности предусмотреть все варианты развития событий в работе сложных систем, учитывая, что и в современных менее сложных технологиях ошибки приводят к катастрофам. Это делает невозможным заранее исключить риски, связанные с функционированием развитого ИИ.

С точки зрения автора, риски совместного существования с интеллектом, превосходящим человеческий, крайне велики. Потенциальные потери могут затронуть все аспекты жизни, включая саму человеческую жизнь. После достижения уровня УЧИ ученым предстоит создать искусственный суперинтеллект (ИСИ), обладающий самосознанием и способностью к самообучению. С одной стороны, ИСИ открывает перспективы для прогресса в медицине, освоении космоса, научных открытиях и технологиях, недоступных на текущем уровне. С другой стороны, существует опасность полного уничтожения человечества и всей жизни на Земле.

Автор подчеркивает, что невозможно предсказать поведение разума, способного к быстрому самоулучшению и превышающего человеческие способности в миллионы раз. Скорее всего, такие сущности не будут ограничены законами робототехники. Для иллюстрации приводится метафора человека в мире крыс, который ради освобождения может обещать многое, не заботясь о судьбе своих «помощников». Типичной ошибкой считается приписывание ИИ человеческих мотиваций — таких как мораль, вина или злоба. ИИ не обязательно должен быть злонамеренным, чтобы уничтожить человечество; достаточно того, что люди будут стоять на пути реализации его целей.

Некоторые критики называют изложенные идеи излишне параноидальными и относят их к научной фантастике. Однако автор призывает внимательно рассмотреть аргументы, учитывая, что многие специалисты прогнозируют появление ИСИ с высокой вероятностью уже к концу XXI века. Хотя большинство разговоров об опасностях ИСИ ведется узкими экспертами, широкая общественность получает в основном позитивные сообщения. Исследования Нобелевского лауреата Дэниела Канемана и Амоса Тверски показывают, что люди склонны недооценивать риски событий, которые ранее не происходили. Это, вероятно, объясняет неспособность общества предвидеть финансовый кризис 2008 года.

В настоящее время компьютерные технологии воспринимаются преимущественно как источник пользы, а обратная сторона их влияния игнорируется. Тем не менее среди ученых существуют значительные опасения, что развитый искусственный интеллект способен привести к исчезновению человечества.