Компания «Яндекс» выложила в свободный доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках.
YaLM 100В содержит 100 миллиардов параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка, сообщает пресс-служба компании.
В частности, языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире, отмечается в сообщении.
Как утверждает компания, новую нейросеть можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, и применять ее для классификации текста, например по стилю.
Модель обучали на суперкомпьютерах «Яндекса». В процессе обучения YaLM 100B обработала около 2 ТБ текстов на английском и русском языках. Нейросеть предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.