Чат-бот ChatGPT «поглупел» из-за феномена «дрейфа», который неизбежно возникает в процессе обучения платформ искусственного интеллекта.
Опубликованное учеными Стэнфордского университета и Калифорнийского университета в Беркли исследование показывает, что попытка усовершенствовать одну часть сложной модели ИИ приводит к ухудшению работы других ее областей.
Исследователи протестировали две версии GPT: 3.5 и 4.0. Чат-боту предложили элементарную задачу: определить, является ли определенное число простым. Основу теста составила выборка из тысячи чисел.
В марте GPT-4 давал правильные ответы в 84% случаев, к июню доля правильных ответов рухнула до 51%. В целом GPT-4 продемонстрировал деградацию в шести задачах из восьми. GPT-3.5 показал прогресс по шести задачам.
Помимо математических задач, исследователи предлагали GPT ответить на 1500 вопросов. И если в марте чат-бот на базе GPT-4 отвечал на 98% вопросов, то в июне давал ответы только на 23%, и зачастую они оказывались слишком короткими.
Авторы исследования отмечают, что развитие ИИ идет не линейно — одному шагу вперед соответствует шаг назад или в другом непредсказуемом направлении. По всей видимости, они продолжат улучшаться, однако этот процесс займет значительное количество времени.