OpenAI начнет бороться с «галлюцинациями» искусственного интеллекта — случаями, когда ИИ выдумывает ложную информацию и выдает ее за факты. Компания объявила о новом методе обучения моделей искусственного интеллекта.
«Даже передовые модели склонны создавать ложные факты — они имеют тенденцию придумывать информацию в моменты неопределенности. Эти галлюцинации особенно проблематичны в областях, требующих многократного рассуждения, поскольку единичная логическая ошибка может сорвать значительно более крупное решение», — написали исследователи OpenAI в отчете.
Потенциальная новая стратегия OpenAI в борьбе с фальсификациями заключается в обучении моделей искусственного интеллекта поощрять себя за каждый отдельный правильный шаг рассуждения, ведущий к ответу, а не только за правильное окончательное заключение.
Этот подход называется «процессный надзор». В отличие от текущего «результатного надзора», он может привести к более понятному искусственному интеллекту, поскольку стратегия побуждает модели следовать человекоподобной «цепочке мыслей».
SIBNET.RU В TELEGRAM