Начиная, по крайней мере, с 40-х годов исследователи серьёзно работают над созданием искусственного человекоподобного интеллекта, с 2006 года эта безумная мечта стала действительно осуществимой — машинное обучение сделало огромный шаг вперед с появлением новых подходов к созданию искусственных нейронных сетей и алгоритмов, способных к самообучению.
Распространение нейронных сетей связано с большим и внезапным движением по опасному пути: самообучающиеся машины могут также научиться улучшать себя.
Если машина сможет улучшать себя, то она сможет изменить свой код, внести улучшения в свою структуру — стать лучше в том, чтобы становиться лучше.
В какой-то момент самосовершенствующаяся машина превзойдет уровень человеческого интеллекта. Она станет сверхразумной, способной взять на себя контроль над всем — от сотовых сетей до глобальной интернет-инфраструктуры.
Именно в этой точке возникает экзистенциальный риск, который искусственный интеллект представляет для человечества.
У нас нет причин полагать, что машина, которую мы создадим, будет дружелюбна к нам или даже вообще будет действовать в наших интересах.
Созданая нами, управляющая миром сверхразумная машина, неспособная сопереживать людям, может привести к вымиранию человечества самыми разными творческими способами: от использования наших атомов в качестве материалов для своей расширяющейся сети, до втягивания нас в ресурсный конфликт, который, по-видимому, будет проигран человечеством.
Есть люди, которые работают над предотвращением ИИ-катастрофы, но с каждым новым выпускаемым самообучающимся алгоритмом мы делаем шаг навстречу потенциальной экзестенциальной угрозе.
Слушать, например, тут: https://podcasts.google.com/?feed=aHR0cHM6Ly9mZWVkcy5tZWdhcGhvbmUuZm0vSFNXMjcwNzg4NTcyMg%3D%3D&episode=ODAzZDVlZTAtZTY5Ni0xMWU4LWFmMTUtODMyYzBmMzQ2Yzcw
https://www.theendwithjosh.com/podcasts/ep05-artificial-intelligence.htm