Яндекс опубликовал в открытом доступе YandexGPT 5 Lite Pretrain — большую языковую модель (LLM) на 8 млрд параметров с поддержкой контекста в 32 тыс. токенов.
Новая модель превосходит по качеству ответов зарубежные аналоги в большинстве бенчмарков. Она будет полезна разработчикам и представителям бизнеса, которые смогут дообучить её под свои задачи и не тратить время на создание собственной базовой модели.
Pretrain-версия модели уже имеет обширные знания о мире, понимает контекст и закономерности языка.
