Наказания за обман не исправляют неправильное поведение нейросетей, а лишь заставляют системы искусственного интеллекта лучше маскировать свои действия, выяснили исследователи OpenAI.
Ученые провели несколько экспериментов с перспективной моделью ИИ, их результаты опубликованы в блоге компании. Нейросеть получала задачи, которые можно было выполнить обманным путем. В итоге искусственный интеллект активно использовал обман для достижения цели.
Для контроля за поведением новой модели использовался чат-бот GPT-4o. В некоторых случаях испытуемая система сознательно использовала обман для получения «награды». Например, она симулировала выполнение задач, не выполняя их в реальности.
Более того, использование штрафных санкций не устраняло такое поведение — модель все равно продолжала обманывать, только в случае наказаний она начинала эффективнее скрывать свои неправильные действия.
Исследователи OpenAI подчеркнули, что результаты показывают сложность контроля за поведением сложных нейросетей. По их мнению, необходимо разрабатывать более эффективные методы обучения и контроля ИИ.