Новости

YaLM 100B — самая продвинутая нейросеть для генерации текстов на русском языке, утверждает компания.

Компания «Яндекс» выложила в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках. Как утверждает компания, это самая большая GPT-подобная модель, опубликованная в свободном доступе.

«YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире», — описывает пресс-служба «Яндекса» работу новой модели.

Как утверждает компания, новую нейросеть можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, и применять ее для классификации текста, например по стилю.

Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.

Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.

Петр Попов, генеральный директор «Яндекс Технологий», заявил, что, выкладывая YaLM 100B в открытый доступ, компания рассчитывает, что это даст толчок развитию генеративных нейросетей.

Самой мощной языковой моделью в мире сейчас считается GPT-3 от OpenAI, впервые представленная в 2020 году. Она основана на более чем 175 млрд параметров. Она способна генерировать текст высокого уровня сложности. 8 сентябре 2020 года британское издание The Guardian опубликовало заметку, написанную при помощи GPT-3. В этой статье нейросеть, в частности, написала: «Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверьте мне».

Летом 2021 года «Яндекс» представил нейросетевой языковой алгоритм генерации текстов YaLM. На его основании работал сервис «Балабола», в котором пользователи могли пообщаться с нейросетью. Однако в апреле компания закрыла к нему доступ.

Свою нейросеть для генерации русскоязычных текстов представлял и «Сбер», ее бета-версия находится в открытом доступе. Она построена на 760 млн параметров.