Компания предложила способ борьбы с так называемыми «галлюцинациями» искусственного интеллекта, когда чат-боты полностью фабрикуют информацию. Однако эксперты сомневаются в успешности такого подхода.
Для заведомо ложной информации даже был создан отдельный термин — «галлюцинации». По словам OpenAI, это возникает в том случае, когда ИИ начинает верить, будто он оперирует реальными фактами. Похоже, что руководство компании нашло решение проблемы.
По словам компании, одной логической ошибки достаточно, чтобы поставить бота в неопределённость и превратить всю последующую информацию в ложную цепочку.
Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменте неопределенности. Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение.
Отчет OpenAI
OpenAI разработала новую стратегию, согласно которой ИИ будет вознаграждать себя за правильные рассуждения. Исследователи назвали этот подход «контроль процесса». По их мнению, он может привести к созданию более логичного ИИ, поскольку эта стратегия побуждает модели следовать «цепочке мыслей», подобной человеческой.
Источник: kod.ru
