Авторы отмечают, что самообучающиеся алгоритмы могут со временем обнаружить какой-нибудь механизм обхода или игнорирования штатной стоп-команды оператора. По словам исследователей, цель работы — создание фреймворка, который не позволит искусственному интеллекту найти способ игнорирования команды отключени, пишет портал N+1 со ссылкой на Business Insider.
Также «большая красная кнопка» должна гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации, а также предотвратить совершение действий, которые могут привести к «необратимым последствиям».
Вопросы безопасности, связанные с разработкой систем искусственного интеллекта, озвучивались и ранее. В 2015 году Илон Маск, Стивен Хокинг, Ноам Хомский, Стив Возняк и многие другие ученые, бизнесмены, знаменитости, исследователи и специалисты в области робототехники и искусственного интеллекта подписали открытое письмо, предостерегающее производителей оружия от создания полностью автономных боевых систем.