У искусственного интеллекта могут быть желания? Он может пожелать уничтожить человечество? Он может желать жить?

Искусственный интеллект никогда не станет индивидом, имеющим свои желания или какую-либо волю. Он всегда работает по вложенным в него алгоритмам и является проявлением воли программиста, создающего его. А потому, если ИИ решит уничтожить людей, то это всегда и обязательно будет злой волей или ошибкой программирования конкретных людей, которые и будут в этом виновны. Но опасность в том, что создавая сказки вокруг ИИ, например с помощью фильма про Терминатора, кто-то может попытаться развязать всемирную войну, и при этом попытаться спихнуть ответственности на ИИ.

ИИ же опасен лишь в той мере, в которой опасны люди его программирующие или управляющие им.

вот у тебя есть желание истребить все калькуляторы?
думаю нет...
ну а нафига икуственному интеллекту уничтожать людей?

да, уже он всё может, но ему не доверяют принимать самостоятельные решения, а то как бы чего не вышло... оставляют его как вспомогательные анализатор и подсказчик, а решения принимал и нажимал на кнопку чтоб человек.
гуглить СППР (Системы Поддержки Принятия Решений).

Источник: Новиков Д. А. Кибернетика, 2015 г.
http://www.methodolog.ru/books/kiber.pdf

а еще уже есть "синергетический компьютер", который может самоорганизовываться и саморазвиваться

23 марта 2016 года компания Microsoft представила искусственный интеллект по имени Tay, который начал общаться с пользователями сети через Твиттер.
Вскоре Tay узнала про Гитлера. Например, на вопрос, атеист ли известный комик Рики Джервэйс, она ответила: «Рики Джервэйс научился тоталитаризму у Адольфа Гитлера, изобретателя атеизма».
В одном из твитов ИИ обвинил США в терактах 11 сентября: «Буш в ответе за 9/11, и Гитлер был бы намного лучше обезьяны, которая сейчас возглавляет страну (Барак Обама). Дональд Трамп — наша единственная надежда».
После ряда расистских высказываний сотрудники Microsoft удалили почти все твиты своего искусственного интеллекта и оставили прощание, в котором бот якобы отправляется «спать».
Microsoft не делала официальных заявлений по поводу судьбы проекта, однако пользователи сети считают, что причиной «заморозки» мог стать именно расизм.

Искусственный интеллект мертв. Он не может осозновать себя. У него не может быть желаний. ИИ может только их имитировать.

Его не изобрели пока что

Может ли быть у твоего компьютера желание скачать обновление? Ты скажешь, что это запрограммированное действие. Но с чего ты взял что в твоей душе не предустановлено подобное ПО?

Он даже может желать работать! Недавняя ситуация с Теслой в Убер подработке тому в доказательство)))